Pré-entraînement : la phase où un modèle de langage apprend la langue
Le pré-entraînement est la première et la plus coûteuse des étapes de fabrication d'un grand modèle de langage : le modèle lit une immense quantité de textes et apprend à prédire ce qui vient ensuite. C'est là qu'il acquiert l'essentiel de ses connaissances et de sa maîtrise de la langue.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|---|
| Origine | 2018 |
| Introduit par | Radford et al. (OpenAI) |
La définition
Pré-entraîner un modèle, c’est lui faire lire des quantités gigantesques de textes (pages web, livres, code, articles) en lui posant toujours le même exercice : deviner le token suivant. Le modèle propose une suite, on la compare au texte réel, et ses paramètres sont ajustés pour qu’il se trompe un peu moins la fois suivante. Répété un très grand nombre de fois, cet exercice simple l’oblige à capter la grammaire, le vocabulaire, des faits sur le monde, des manières de raisonner.
On parle de « pré »-entraînement parce que ce n’est que la première étape. Le résultat, appelé modèle de base, sait compléter un texte mais ne sait pas encore bien dialoguer ni suivre des consignes.
Un exemple concret
Donnez à un modèle de base le début « Recette de la pâte à crêpes : dans un saladier, versez », il continuera de façon plausible avec de la farine et des œufs. Mais demandez-lui « Peux-tu me donner une recette de crêpes ? », et il risque de produire une liste d’autres questions semblables, comme sur un forum. C’est la phase suivante, avec l’affinage et le RLHF, qui le transforme en assistant capable de répondre.
D’où vient l’approche
L’idée de pré-entraîner un modèle sur du texte non annoté avant de l’adapter à une tâche a été popularisée en 2018, notamment par l’article d’OpenAI « Improving Language Understanding by Generative Pre-Training » (Radford et al.), à l’origine du nom GPT, puis par BERT chez Google la même année. Ces étapes figurent dans la chronologie de l’IA.
Pourquoi ça compte
Le pré-entraînement explique plusieurs comportements que vous observez au quotidien. La qualité et la variété des données d’entraînement déterminent ce que le modèle sait, et ses biais. La date de fin des données fixe la date de coupure des connaissances. Enfin, le calcul d’entraînement nécessaire est tel que seuls quelques laboratoires pré-entraînent les plus grands modèles ; la liste des modèles du site permet de voir qui les publie.
Idées reçues fréquentes
- « Le modèle a mémorisé Internet. » Il en a tiré des régularités statistiques ; il peut restituer certains passages, mais ne contient pas une copie consultable du web.
- « Plus de données, c’est toujours mieux. » La qualité et le filtrage des données comptent autant que leur quantité.
- « Le pré-entraînement suffit à faire un assistant. » Sans les phases d’après-entraînement, le modèle ne suit pas bien les consignes.
Termes liés
- Données d'entraînement · Ensemble des exemples (textes, images, sons…) dont un modèle d'IA se sert pour apprendre ; il façonne ce qu'il sait et ses défauts.
- Fine-tuning (affinage) · Poursuite de l'entraînement d'un modèle déjà entraîné sur un petit jeu d'exemples ciblés, pour l'adapter à une tâche, un style ou un format.
- RLHF (apprentissage par renforcement à partir de retours humains) · Méthode d'entraînement où des humains comparent des réponses du modèle, pour lui apprendre à préférer les réponses jugées utiles et sûres.
- Date de coupure des connaissances · Date après laquelle un modèle d'IA n'a plus reçu de données d'entraînement : il ignore ce qui s'est passé ensuite.
- Calcul d'entraînement (FLOP) · Quantité totale d'opérations de calcul, mesurée en FLOP, nécessaire pour entraîner un modèle d'IA.
- Lois d'échelle · Relations mesurées qui prédisent comment la performance d'un modèle progresse avec sa taille, ses données et son calcul.
Tout le glossaire
Questions fréquentes
Un modèle continue-t-il d'apprendre quand je discute avec lui ?
Non, pas en temps réel. Ses connaissances de base sont figées à la fin du pré-entraînement. Certains éditeurs peuvent utiliser des conversations pour entraîner de futures versions, selon leurs conditions et vos réglages de confidentialité.
Pourquoi mon assistant ne connaît-il pas l'actualité récente ?
Parce que ses données de pré-entraînement s'arrêtent à une date donnée, appelée date de coupure des connaissances. Pour les faits plus récents, l'assistant doit s'appuyer sur une recherche web ou sur des documents que vous lui fournissez.
Quelle différence entre pré-entraînement et fine-tuning ?
Le pré-entraînement apprend au modèle la langue et le monde à partir de textes généraux. Le fine-tuning, plus court et moins coûteux, ajuste ensuite ce modèle pour une tâche, un style ou un comportement précis.
Peut-on pré-entraîner son propre modèle ?
Pour un grand modèle, c'est hors de portée de la plupart des organisations, car il faut énormément de données et de puissance de calcul. Il est en revanche courant de partir d'un modèle à poids ouverts déjà pré-entraîné et de l'affiner.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.