Paramètres d'un modèle : ce que cache le « B » de 7B ou 70B
Les paramètres sont les nombres internes qu'un modèle d'IA règle pendant son entraînement, comme des milliards de petits boutons de réglage. Leur nombre indique la taille d'un modèle et donne une idée de la mémoire nécessaire pour le faire tourner, mais pas, à lui seul, sa qualité.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|
Une définition simple
Un modèle d’IA moderne est un réseau de neurones : une immense suite de calculs où chaque connexion porte un poids, un nombre. Ces poids, avec quelques autres valeurs, forment les paramètres. Au départ, ils sont aléatoires. Pendant l’entraînement, le modèle lit des données, se trompe, et chaque erreur sert à ajuster légèrement ses paramètres. À la fin, ce sont eux qui « contiennent » ce que le modèle a appris : grammaire, faits, styles, raisonnements.
Un repère historique : en 2020, l’article qui présentait GPT-3 annonçait un modèle de 175 milliards de paramètres, alors présenté comme dix fois plus grand que tout modèle de langage non clairsemé précédent.
Un exemple concret
Vous voulez faire tourner un modèle à poids ouverts sur votre ordinateur. Sa fiche indique 8 milliards de paramètres. Si chaque paramètre est stocké sur 16 bits (2 octets), il faut environ 16 Go de mémoire rien que pour le charger. Avec la quantification sur 4 bits, on descend vers 4 à 5 Go, au prix d’une légère perte de précision. Le nombre de paramètres sert donc d’abord à savoir si un modèle « rentre » dans votre machine. Notre page modèles open source affiche la taille des modèles les plus téléchargés.
Pourquoi ça compte
Plus de paramètres permet en général de stocker plus de connaissances et de nuances, mais coûte plus cher à entraîner et à utiliser. C’est pourquoi les fabricants cherchent des compromis : des petits modèles de langage bien entraînés, ou l’architecture en mélange d’experts, où seule une partie des paramètres travaille pour chaque token. Dans ce cas, deux chiffres sont souvent donnés : paramètres totaux et paramètres actifs.
Idées reçues fréquentes
- « Plus de paramètres, meilleur modèle. » Pas forcément. La qualité des données, la durée d’entraînement et les réglages après entraînement pèsent autant. Un modèle récent plus petit peut dépasser un ancien modèle plus gros.
- « Les paramètres, ce sont les connaissances rangées comme dans une encyclopédie. » Le savoir est diffus, réparti dans des milliards de nombres ; on ne peut pas aller « modifier une fiche » à la main.
- « Le fine-tuning change tout le modèle. » Des méthodes comme LoRA n’entraînent qu’une petite fraction de paramètres supplémentaires.
Termes voisins : réseau de neurones, quantification, mélange d’experts, petit modèle de langage, modèle à poids ouverts.
Termes liés
- Réseau de neurones · Programme formé de nombreuses petites unités de calcul reliées entre elles, qui apprend en ajustant la force de ces liens.
- Données d'entraînement · Ensemble des exemples (textes, images, sons…) dont un modèle d'IA se sert pour apprendre ; il façonne ce qu'il sait et ses défauts.
- Mélange d'experts (MoE) · Architecture où le modèle contient de nombreux sous-réseaux « experts » et n'en active que quelques-uns pour chaque token traité.
- Quantification · Technique qui stocke les poids d'un modèle avec moins de bits (8, 4, voire moins) pour qu'il occupe beaucoup moins de mémoire.
- Petit modèle de langage (SLM) · Modèle de langage compact, assez léger pour tourner sur un ordinateur ou un téléphone, efficace sur des tâches ciblées plutôt que générales.
- Modèle à poids ouverts · Modèle d'IA dont les paramètres entraînés (les « poids ») sont téléchargeables, ce qui permet de le faire tourner sur ses propres machines.
À essayer
Tout le glossaire
Questions fréquentes
Que veut dire « 7B » dans le nom d'un modèle ?
Le B signifie « billion » en anglais, soit un milliard. Un modèle « 7B » compte environ 7 milliards de paramètres. C'est une indication de taille, utile pour estimer la mémoire nécessaire, pas une note de qualité.
Paramètres et données d'entraînement, est-ce la même chose ?
Non. Les données d'entraînement sont les textes lus par le modèle ; les paramètres sont ce qu'il en a retenu, sous forme de nombres. Un modèle ne contient pas une copie de ses données, même s'il peut parfois en restituer des passages.
Pourquoi certains fabricants ne publient-ils pas le nombre de paramètres ?
Beaucoup de laboratoires gardent cette information confidentielle pour leurs modèles fermés, pour des raisons de concurrence. Les modèles à poids ouverts, eux, l'indiquent en général, puisque leurs fichiers sont publics.
Le mot « paramètre » a-t-il un autre sens ?
Oui, et cela prête à confusion : dans une API, on appelle aussi « paramètres » les réglages d'une requête, comme la température ou la longueur maximale de réponse. Ceux-là, vous les choisissez ; les paramètres du modèle, eux, sont fixés par l'entraînement.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.