Calcul d'entraînement : mesurer l'effort qu'a coûté un modèle d'IA
Le calcul d'entraînement est le nombre total d'opérations mathématiques qu'il a fallu effectuer pour entraîner un modèle d'IA, exprimé en FLOP. C'est l'indicateur le plus utilisé pour comparer l'ampleur des modèles, et même un critère juridique dans l'Union européenne.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
La définition
Le calcul d’entraînement mesure la quantité de travail fournie par les ordinateurs pour fabriquer un modèle d’IA.
L’unité est le FLOP, une opération en virgule flottante : une addition ou une multiplication entre deux nombres décimaux. Pendant le pré-entraînement, chaque token de texte traverse le réseau, puis le modèle corrige ses paramètres : cela représente des milliards d’opérations par token. Additionnées sur tout l’entraînement, elles atteignent des nombres si grands qu’on les écrit en puissances de dix, par exemple 10^24 FLOP.
Une approximation courante, utilisée notamment par Kaplan et ses coauteurs dans leur article de 2020 sur les lois d’échelle, estime le calcul d’un modèle de type Transformer à environ 6 × nombre de paramètres × nombre de tokens d’entraînement.
Un exemple chiffré
Prenons un modèle hypothétique de 10 milliards de paramètres entraîné sur 1 000 milliards de tokens : 6 × 10^10 × 10^12 = 6 × 10^22 FLOP. C’est plus de 150 fois moins que le seuil de 10^25 FLOP retenu par l’article 51 du règlement européen sur l’IA pour présumer qu’un modèle à usage général présente un risque systémique. Ce type de calcul simple permet de situer un modèle sans connaître tous les détails de son entraînement.
Pourquoi ça compte
Le calcul est l’un des trois moteurs du progrès de l’IA, avec les données et les algorithmes, selon l’étude de Jaime Sevilla et ses coauteurs publiée en 2022. Ils y décrivent trois époques : avant 2010, le calcul d’entraînement doublait environ tous les 20 mois, au rythme de la loi de Moore ; avec l’apprentissage profond, il s’est mis à doubler environ tous les 6 mois ; puis, à partir de fin 2015, sont apparus des modèles à très grande échelle. L’organisme de recherche Epoch AI tient à jour une base de données publique sur les modèles marquants et leur calcul estimé, l’une des sources de notre page l’IA en chiffres.
Le calcul se traduit aussi en coût, en nombre de GPU mobilisés et en énergie consommée, ce qui en fait un enjeu économique et environnemental.
Idées reçues
- « Plus de calcul garantit un meilleur modèle. » La qualité des données et la répartition du budget entre taille et données comptent autant.
- « Le calcul s’arrête à l’entraînement. » Les modèles de raisonnement dépensent aussi beaucoup au moment de répondre : c’est le calcul au moment de l’inférence.
- « Le chiffre annoncé est exact. » Pour beaucoup de modèles fermés, il s’agit d’estimations externes.
Termes voisins : lois d’échelle, GPU, pré-entraînement, AI Act.
Termes liés
- Lois d'échelle · Relations mesurées qui prédisent comment la performance d'un modèle progresse avec sa taille, ses données et son calcul.
- GPU (processeur graphique) · Puce conçue pour faire des milliers de calculs en parallèle, devenue le moteur de l'entraînement et de l'utilisation des modèles d'IA.
- Pré-entraînement · Première phase d'entraînement d'un modèle de langage : il apprend à prédire la suite de textes sur un immense corpus, sans tâche précise.
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Règlement européen sur l'IA (AI Act) · La loi européenne qui encadre les systèmes d'IA selon leur niveau de risque, avec des interdictions et des obligations de transparence.
- Calcul à l'inférence (test-time compute) · Puissance de calcul dépensée par un modèle au moment de répondre, par exemple pour réfléchir plus longtemps ou comparer plusieurs pistes.
À essayer
Tout le glossaire
Questions fréquentes
Quelle différence entre FLOP et FLOPS ?
Le FLOP (floating-point operation) compte des opérations ; un total d'entraînement s'exprime en FLOP. Les FLOPS, ou FLOP par seconde, mesurent la vitesse d'une puce. Diviser le premier par le second, en tenant compte du taux d'utilisation réel, donne une idée de la durée d'entraînement.
Comment estime-t-on le calcul d'un modèle dont l'éditeur ne publie rien ?
Les chercheurs partent des informations disponibles : nombre de paramètres, nombre de tokens d'entraînement, ou matériel et durée annoncés. Ces estimations, comme celles d'Epoch AI, comportent une marge d'incertitude qu'il faut garder en tête.
Pourquoi l'AI Act s'intéresse-t-il aux FLOP ?
Selon l'article 51 du règlement européen, un modèle d'IA à usage général est présumé avoir des capacités à fort impact, donc présenter un risque systémique, lorsque son calcul d'entraînement cumulé dépasse 10^25 FLOP. Ce statut entraîne des obligations supplémentaires pour son fournisseur.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.