Décodage spéculatif : faire écrire un LLM plus vite sans changer ses réponses
Le décodage spéculatif accélère un grand modèle de langage : un petit modèle rapide devine les prochains mots, et le grand modèle vérifie ces propositions toutes ensemble au lieu de les écrire une à une. Bien réglé, il rend la génération plus rapide sans modifier la distribution des réponses.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2022 |
| Introduit par | Yaniv Leviathan, Matan Kalman, Yossi Matias |
Le principe en une phrase, puis en détail
Le décodage spéculatif, c’est laisser un assistant rapide écrire un brouillon que le modèle principal relit et valide d’un seul coup.
Un modèle de langage produit normalement un token à la fois, et chaque token exige un passage complet dans le grand modèle. Ce travail est souvent limité par la vitesse de lecture de la mémoire, pas par la puissance de calcul : le GPU attend plus qu’il ne calcule. Le décodage spéculatif exploite cette marge :
- un modèle brouillon, petit et rapide, propose plusieurs tokens d’avance ;
- le modèle cible évalue toutes ces propositions en un seul passage parallèle ;
- il accepte le plus long préfixe compatible avec ce qu’il aurait lui-même produit, corrige le premier token rejeté, et l’on recommence.
Une règle d’échantillonnage par rejet garantit que le résultat suit exactement la distribution du grand modèle. L’idée a été publiée en novembre 2022 par Yaniv Leviathan, Matan Kalman et Yossi Matias dans l’article fondateur sur arXiv ; Chen et ses coauteurs ont décrit une méthode très proche, le speculative sampling, en février 2023.
Un exemple concret
Le modèle doit compléter « La capitale de l’Italie est ». Le modèle brouillon propose « Rome , une ville ». Le grand modèle vérifie les quatre tokens en un passage : il valide « Rome » et la virgule, mais aurait plutôt écrit « située » que « une ». Il garde les deux premiers, remplace le troisième, et un nouveau cycle commence. Trois tokens obtenus pour un seul passage du grand modèle, au lieu de trois.
Pourquoi ça compte
La latence est décisive pour les agents et les assistants vocaux, qui enchaînent de nombreux appels. Leviathan et ses coauteurs rapportent une accélération de 2 à 3 fois par rapport à l’implémentation standard T5X, avec des sorties identiques ; Chen et ses coauteurs annoncent 2 à 2,5 fois sur Chinchilla 70B. Le gain réel dépend du taux d’acceptation : sur du texte prévisible, comme du code ou un format répétitif, le brouillon devine juste plus souvent. La technique est désormais intégrée à des serveurs d’inférence comme vLLM ou llama.cpp.
Idées reçues
- « Le petit modèle répond à la place du grand. » Non : il ne fait que proposer, le grand modèle garde le dernier mot.
- « C’est toujours plus rapide. » Si le brouillon se trompe souvent, ou si le serveur est déjà saturé par de nombreuses requêtes, le gain fond, voire s’inverse.
- « Cela réduit le calcul total. » Au contraire, on calcule un peu plus ; on gagne du temps d’attente, pas des opérations.
Termes voisins : inférence, cache clé-valeur, petit modèle de langage.
Termes liés
- Inférence · Moment où un modèle déjà entraîné est utilisé pour produire une réponse : chaque question posée à une IA déclenche une inférence.
- Latence · Temps d'attente entre l'envoi d'une demande à un modèle d'IA et l'arrivée de sa réponse, du premier mot jusqu'au dernier.
- Token · Petit morceau de texte (mot, bout de mot, signe) que lit et produit un modèle d'IA ; sert d'unité de mesure, de limite et de prix.
- Cache clé-valeur (KV cache) · Mémoire où un modèle garde les calculs déjà faits sur les tokens précédents, pour ne pas les refaire à chaque nouveau mot.
- Serveur d'inférence · Logiciel qui charge un modèle d'IA en mémoire et répond aux requêtes via une API, en optimisant le débit et la mémoire du GPU.
- Petit modèle de langage (SLM) · Modèle de langage compact, assez léger pour tourner sur un ordinateur ou un téléphone, efficace sur des tâches ciblées plutôt que générales.
Tout le glossaire
Questions fréquentes
Le décodage spéculatif dégrade-t-il la qualité ?
Non, dans sa forme d'origine. Les articles de 2022 et 2023 utilisent une règle d'acceptation qui garantit que le texte suit la même distribution que celle du grand modèle seul. Certaines variantes dites approximatives relâchent cette garantie pour aller plus vite.
Faut-il un second modèle ?
Souvent, oui : un petit modèle de la même famille, qui partage le même tokeniseur. Des variantes s'en passent, par exemple en cherchant des suites de mots déjà présentes dans le prompt (n-grammes) ou en ajoutant de petites têtes de prédiction au modèle principal, comme EAGLE.
Quels logiciels le proposent ?
Au 22 octobre 2026, la documentation de vLLM et celle du serveur de llama.cpp mentionnent toutes deux le décodage spéculatif parmi leurs fonctionnalités.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.