Effondrement de modèle : quand l'IA apprend de l'IA
L'effondrement de modèle (model collapse) désigne la dégradation progressive de modèles génératifs entraînés, génération après génération, sur des données produites par des modèles précédents plutôt que par des humains. Les cas rares et les nuances disparaissent peu à peu, et les productions deviennent plus pauvres et plus uniformes.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2023 |
| Introduit par | Shumailov et al. |
Une définition simple
Faites une photocopie d’une photocopie, puis recommencez : à chaque passage, des détails s’effacent. L’effondrement de modèle est l’équivalent pour l’IA. Un modèle apprend une distribution de données ; ses productions en sont une version légèrement appauvrie. Si le modèle suivant apprend surtout à partir de ces productions, il hérite de cet appauvrissement et l’amplifie.
Le mécanisme
Un modèle génératif reproduit surtout ce qui est fréquent dans ses données d’entraînement. Les événements rares, les « queues » de la distribution, sont sous-représentés dans ce qu’il génère. Les auteurs identifient plusieurs sources d’erreur qui se cumulent : l’échantillonnage (un ensemble fini de données ne capture pas tout), les limites d’expression du modèle et les imperfections de l’apprentissage. Génération après génération, les queues disparaissent, puis la variété elle-même se réduit. Le phénomène touche les grands modèles de langage, mais aussi des modèles plus simples comme les autoencodeurs variationnels et les mélanges de gaussiennes.
Origine
Le terme a été popularisé par l’article « The Curse of Recursion: Training on Generated Data Makes Models Forget » d’Ilia Shumailov et ses coauteurs, publié sur arXiv en mai 2023. Une version a paru dans la revue Nature en juillet 2024 sous le titre « AI models collapse when trained on recursively generated data ».
Un exemple concret
Imaginons un modèle entraîné sur des recettes du monde entier. On lui fait générer un grand nombre de recettes, puis on entraîne un nouveau modèle uniquement sur celles-ci, et ainsi de suite. Les plats régionaux peu connus apparaissent de moins en moins, puis plus du tout ; au bout de quelques cycles, le modèle propose surtout des variantes de quelques plats très courants, avec des formulations de plus en plus répétitives.
Pourquoi ça compte, et les idées reçues
Le web contient une part croissante de contenus générés, qui peuvent se retrouver dans les corpus de pré-entraînement. D’où l’intérêt des techniques de filigrane et de détection, et de la traçabilité des sources.
- « L’effondrement est inévitable. » Gerstgrasser et al. ont montré en 2024 que conserver les données réelles et y ajouter les générations successives, au lieu de les remplacer, évite l’effondrement dans leurs expériences.
- « Toute donnée générée est toxique. » Les données synthétiques bien conçues et filtrées sont un outil standard, par exemple pour la distillation.
Termes liés
- Données synthétiques · Données créées artificiellement, souvent par un autre modèle d'IA, pour entraîner, affiner ou tester un modèle quand les données réelles manquent.
- Données d'entraînement · Ensemble des exemples (textes, images, sons…) dont un modèle d'IA se sert pour apprendre ; il façonne ce qu'il sait et ses défauts.
- Pré-entraînement · Première phase d'entraînement d'un modèle de langage : il apprend à prédire la suite de textes sur un immense corpus, sans tâche précise.
- Distillation (de connaissances) · Technique qui entraîne un petit modèle « élève » à imiter les réponses d'un grand modèle « professeur » pour le rendre plus léger.
- Filigrane de contenu IA · Marque, souvent invisible, insérée dans une image, un son, une vidéo ou un texte pour signaler qu'il a été généré par une IA.
Tout le glossaire
Questions fréquentes
Les IA actuelles sont-elles déjà en train de s'effondrer ?
Rien ne permet de l'affirmer. Le phénomène a été démontré dans des expériences contrôlées où chaque génération remplace les données réelles par des données générées. Les laboratoires filtrent leurs données et conservent des sources humaines, ce qui limite ce scénario ; l'ampleur réelle du risque reste débattue.
Faut-il bannir les données synthétiques ?
Non. Les données synthétiques, choisies et filtrées, servent couramment à entraîner des modèles, notamment par distillation. Le problème vient d'un usage en boucle, non contrôlé, où elles remplacent les données réelles.
Pourquoi les données humaines prennent-elles de la valeur ?
Parce qu'elles contiennent la diversité et les cas rares que les modèles ont tendance à lisser. Les auteurs de l'étude fondatrice estiment que les données issues d'interactions humaines authentiques deviendront de plus en plus précieuses.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.