Lois d'échelle : pourquoi les modèles d'IA grossissent
Les lois d'échelle sont des relations mesurées qui permettent de prévoir à quel point un modèle d'IA s'améliore quand on augmente sa taille, ses données d'entraînement et la puissance de calcul. Elles expliquent en grande partie la course aux modèles toujours plus grands depuis 2020.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2020 |
| Introduit par | Jared Kaplan et al. |
Ce que disent les lois d’échelle
En termes simples : plus un modèle est grand, entraîné sur beaucoup de données et avec beaucoup de calcul, meilleur il est, et cette amélioration suit une courbe prévisible.
En janvier 2020, Jared Kaplan et ses coauteurs publient « Scaling Laws for Neural Language Models ». Ils mesurent la perte d’un modèle de langage, c’est-à-dire son erreur moyenne lorsqu’il prédit le token suivant, et constatent qu’elle diminue selon une loi de puissance de trois facteurs : le nombre de paramètres, la quantité de données d’entraînement et le calcul d’entraînement. Ces tendances se vérifient sur plus de sept ordres de grandeur. Détail notable : la forme précise du réseau, largeur ou profondeur, compte peu dans une large plage.
En pratique, une loi de puissance se lit comme une droite sur un graphique à échelles logarithmiques : chaque multiplication du budget apporte une baisse de perte régulière, mais de plus en plus coûteuse en valeur absolue.
Chinchilla : la correction de 2022
Kaplan et ses coauteurs recommandaient d’entraîner de très grands modèles sur une quantité de données relativement modeste. En mars 2022, Jordan Hoffmann et ses coauteurs révisent cette conclusion dans l’article Chinchilla : à budget de calcul égal, taille du modèle et nombre de tokens doivent croître dans les mêmes proportions. Leur démonstration : Chinchilla, 70 milliards de paramètres, entraîné sur quatre fois plus de données que Gopher pour le même calcul, dépasse Gopher (280 milliards) et GPT-3 (175 milliards) sur de nombreux tests.
Pourquoi ça compte
Ces lois servent d’outil de planification : un laboratoire entraîne de petits modèles, ajuste la courbe, puis prédit la performance d’un modèle bien plus coûteux avant de le lancer. Elles ont justifié les investissements massifs dans les GPU et les centres de données. Elles orientent aussi des choix pratiques : un modèle plus petit entraîné plus longtemps coûte moins cher à faire tourner ensuite, ce qui intéresse les produits servis à des millions d’utilisateurs.
Idées reçues
- « Plus gros, c’est toujours mieux. » Seulement à budget optimal : un grand modèle sous-entraîné peut être battu par un plus petit, comme l’a montré Chinchilla.
- « Une perte plus basse signifie un modèle plus intelligent. » La perte mesure la prédiction du texte ; certaines capacités apparaissent de façon moins régulière.
- « Les lois d’échelle sont terminées. » Le débat existe, mais les laboratoires étendent désormais l’idée au calcul au moment de l’inférence.
Termes voisins : pré-entraînement, calcul d’entraînement, paramètres.
Termes liés
- Calcul d'entraînement (FLOP) · Quantité totale d'opérations de calcul, mesurée en FLOP, nécessaire pour entraîner un modèle d'IA.
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Données d'entraînement · Ensemble des exemples (textes, images, sons…) dont un modèle d'IA se sert pour apprendre ; il façonne ce qu'il sait et ses défauts.
- Pré-entraînement · Première phase d'entraînement d'un modèle de langage : il apprend à prédire la suite de textes sur un immense corpus, sans tâche précise.
- Calcul à l'inférence (test-time compute) · Puissance de calcul dépensée par un modèle au moment de répondre, par exemple pour réfléchir plus longtemps ou comparer plusieurs pistes.
- Grand modèle de langage (LLM) · Programme entraîné sur d'immenses quantités de textes pour prédire la suite d'un texte ; c'est le moteur des assistants IA.
À essayer
Tout le glossaire
Questions fréquentes
Les lois d'échelle prouvent-elles que l'IA progressera sans fin ?
Non. Ce sont des régularités observées sur une plage donnée, pas des lois de la nature. Elles prédisent une baisse de l'erreur de prédiction du texte, qui ne se traduit pas mécaniquement en capacités utiles ; rien ne garantit qu'elles tiennent au-delà des échelles mesurées.
Qu'a changé l'article Chinchilla ?
Publié en 2022 par Jordan Hoffmann et ses coauteurs, il a montré qu'à budget de calcul fixe, il fallait augmenter la taille du modèle et le nombre de tokens d'entraînement dans les mêmes proportions. Beaucoup de grands modèles de l'époque étaient donc sous-entraînés.
Existe-t-il des lois d'échelle pour le raisonnement ?
Les laboratoires décrivent aussi des gains liés au calcul dépensé au moment de répondre, par exemple en laissant un modèle de raisonnement réfléchir plus longtemps. Ces relations sont plus récentes et moins bien établies publiquement que celles du pré-entraînement.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.