Distillation : quand un grand modèle forme un plus petit
La distillation de connaissances consiste à entraîner un petit modèle, l'« élève », à reproduire le comportement d'un grand modèle, le « professeur ». L'objectif est d'obtenir un modèle beaucoup plus léger et moins coûteux qui conserve une bonne partie des capacités de l'original.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|---|
| Origine | 2015 |
| Introduit par | Hinton, Vinyals et Dean |
L’image du professeur et de l’élève
Un grand modèle sait beaucoup de choses, mais il coûte cher à faire tourner. La distillation part d’une idée simple : plutôt que d’entraîner un petit modèle uniquement sur des données brutes, on lui fait imiter un grand modèle déjà performant. L’élève n’apprend pas seulement la bonne réponse, il apprend aussi la façon dont le professeur hésite entre plusieurs réponses, ce qui contient beaucoup d’information.
C’est l’idée exposée par Geoffrey Hinton, Oriol Vinyals et Jeff Dean dans un article de 2015 : comprimer le savoir d’un ensemble de modèles dans un seul modèle plus simple à déployer.
Un exemple concret
En 2019, Victor Sanh et ses coauteurs ont publié DistilBERT, une version distillée du modèle BERT. Selon l’article de ses auteurs, il était 40 % plus petit et 60 % plus rapide, tout en conservant 97 % des capacités de compréhension du langage de l’original.
Aujourd’hui, le procédé est très répandu avec les grands modèles de langage : un laboratoire génère avec son plus grand modèle un grand volume de réponses ou de raisonnements, des données synthétiques, puis entraîne dessus des modèles plus petits. Beaucoup de petits modèles de langage et de modèles à poids ouverts sont présentés comme « distillés » d’un modèle plus grand. Vous en trouverez sur notre page des modèles open source.
Pourquoi ça compte
- Coût : un modèle avec moins de paramètres répond plus vite et coûte moins cher à chaque requête.
- Déploiement local : un modèle distillé peut tourner sur un ordinateur portable ou un téléphone, sans envoyer vos données dans le cloud.
- Spécialisation : on peut distiller seulement une compétence (résumer, classer, extraire) dans un modèle compact.
Erreurs et idées reçues fréquentes
- « Distillé veut dire compressé sans perte. » Il y a presque toujours une perte, surtout sur les tâches complexes ou rares.
- « Distillation et quantification, c’est pareil. » La quantification réduit la précision des nombres d’un même modèle ; la distillation entraîne un nouveau modèle, plus petit.
- « L’élève hérite de tout, y compris de la fiabilité. » Il hérite aussi des erreurs et des biais du professeur, et peut en ajouter.
- « C’est toujours permis. » Les conditions d’utilisation de certains services peuvent l’interdire : c’est une question de licence, pas seulement de technique.
Termes voisins : affinage (fine-tuning), petit modèle de langage, données synthétiques, quantification.
Termes liés
- Petit modèle de langage (SLM) · Modèle de langage compact, assez léger pour tourner sur un ordinateur ou un téléphone, efficace sur des tâches ciblées plutôt que générales.
- Fine-tuning (affinage) · Poursuite de l'entraînement d'un modèle déjà entraîné sur un petit jeu d'exemples ciblés, pour l'adapter à une tâche, un style ou un format.
- Données synthétiques · Données créées artificiellement, souvent par un autre modèle d'IA, pour entraîner, affiner ou tester un modèle quand les données réelles manquent.
- Quantification · Technique qui stocke les poids d'un modèle avec moins de bits (8, 4, voire moins) pour qu'il occupe beaucoup moins de mémoire.
- Paramètres d'un modèle · Nombres internes qu'un modèle ajuste pendant son entraînement ; leur quantité donne une idée de sa taille, pas directement de sa qualité.
- Modèle à poids ouverts · Modèle d'IA dont les paramètres entraînés (les « poids ») sont téléchargeables, ce qui permet de le faire tourner sur ses propres machines.
À essayer
Tout le glossaire
Questions fréquentes
Quelle différence entre distillation et fine-tuning ?
Le fine-tuning poursuit l'entraînement d'un modèle sur des données choisies, souvent écrites par des humains. La distillation utilise un autre modèle, plus grand, comme source d'exemples ou de probabilités à imiter. Dans la pratique, une distillation passe d'ailleurs souvent par un fine-tuning de l'élève sur les sorties du professeur.
Un modèle distillé est-il aussi bon que son professeur ?
En général non, mais l'écart peut être faible sur les tâches visées. DistilBERT, par exemple, était annoncé 40 % plus petit et 60 % plus rapide que BERT tout en conservant 97 % de ses capacités de compréhension du langage, selon ses auteurs. Sur des tâches plus difficiles, la différence se voit davantage.
Peut-on distiller n'importe quel modèle ?
Techniquement, il suffit de pouvoir interroger le professeur. Mais les conditions d'utilisation de certains services commerciaux peuvent interdire d'utiliser leurs réponses pour entraîner un modèle concurrent. Vérifiez la licence du modèle professeur avant de vous lancer.
Qui a introduit la distillation ?
Le terme s'est imposé avec l'article « Distilling the Knowledge in a Neural Network » de Geoffrey Hinton, Oriol Vinyals et Jeff Dean, déposé sur arXiv en mars 2015. Ils y montraient comment comprimer le savoir d'un ensemble de modèles dans un seul modèle plus facile à déployer.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.