Latence : pourquoi l'IA met plus ou moins de temps à répondre
La latence désigne le temps qui s'écoule entre l'envoi d'une demande à un modèle d'IA et l'obtention de sa réponse. On distingue en pratique le délai avant le premier mot et la durée totale de génération, qui ne se ressentent pas de la même façon.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|
Une définition, deux ressentis
La documentation d’Anthropic définit la latence comme le temps nécessaire au modèle pour traiter un prompt et générer une réponse. Elle dépend de la taille du modèle, de la complexité de la demande et de l’infrastructure qui le fait tourner. Deux mesures reviennent souvent :
- Le temps jusqu’au premier token (Time To First Token, TTFT) : combien de temps avant que la réponse commence à apparaître.
- La durée totale de génération : le temps pour produire toute la réponse, qui augmente avec sa longueur, car un modèle de langage écrit token après token.
Un exemple concret
Imaginez un assistant vocal de service client. Si la première phrase arrive vite, la conversation paraît naturelle même si la réponse complète prend plus de temps. À l’inverse, un long silence avant le premier mot donne l’impression d’un système en panne, même si la réponse finale est excellente.
Pour un traitement par lots, comme résumer des milliers de documents pendant la nuit, la latence de chaque réponse compte beaucoup moins : c’est le coût total et le débit qui priment. Pour choisir un modèle selon son prix et ses capacités avant de tester sa rapidité sur vos propres demandes, utilisez notre comparateur de modèles.
Pourquoi ça compte
La latence est souvent un compromis avec la qualité et le coût :
- un grand modèle ou un modèle de raisonnement donne souvent de meilleures réponses, mais plus lentement ;
- un prompt très long allonge le temps de lecture du modèle pendant l’inférence ;
- le streaming n’accélère pas le calcul, mais améliore nettement la réactivité perçue.
Parmi les leviers techniques, on trouve la mise en cache du prompt, qui évite de retraiter un long contexte identique, et le décodage spéculatif, utilisé côté fournisseur pour générer plus vite.
Erreurs et idées reçues fréquentes
- « Le modèle le plus rapide est le meilleur choix. » Seulement si sa qualité suffit pour la tâche. La documentation d’Anthropic conseille d’ailleurs d’obtenir d’abord un prompt qui fonctionne bien, puis seulement d’optimiser la latence.
- « Demander une réponse courte en mots suffit. » Les modèles comptent en tokens ; limiter le nombre de phrases ou de paragraphes est souvent plus efficace.
- « La latence est fixe pour un modèle. » Elle varie selon la longueur des textes, l’heure, la charge des serveurs et les réglages comme le niveau de réflexion.
- « Le streaming rend le modèle plus rapide. » Il rend l’attente plus agréable, sans réduire le temps total de calcul.
Termes liés
- Inférence · Moment où un modèle déjà entraîné est utilisé pour produire une réponse : chaque question posée à une IA déclenche une inférence.
- Token · Petit morceau de texte (mot, bout de mot, signe) que lit et produit un modèle d'IA ; sert d'unité de mesure, de limite et de prix.
- Modèle de raisonnement · Modèle de langage entraîné à « réfléchir » par étapes avant de répondre : plus lent et plus coûteux, mais plus solide en maths, code et logique.
- Calcul à l'inférence (test-time compute) · Puissance de calcul dépensée par un modèle au moment de répondre, par exemple pour réfléchir plus longtemps ou comparer plusieurs pistes.
- Mise en cache du prompt · Technique qui réutilise le début d'un prompt déjà traité par le modèle pour répondre plus vite et facturer moins cher les requêtes répétées.
- Décodage spéculatif · Technique d'accélération où un petit modèle propose plusieurs tokens d'avance que le grand modèle vérifie d'un seul coup.
À essayer
Tout le glossaire
Questions fréquentes
Qu'est-ce que le temps jusqu'au premier token (TTFT) ?
C'est le délai entre l'envoi de la demande et l'arrivée du premier token de la réponse. Avec le streaming, c'est ce que l'utilisateur ressent le plus : dès que le texte commence à s'afficher, l'attente paraît plus courte. La documentation d'Anthropic le distingue de la latence de base du modèle.
Pourquoi les modèles de raisonnement sont-ils plus lents ?
Parce qu'ils produisent d'abord un raisonnement interne, parfois long, avant la réponse visible. Ces tokens supplémentaires prennent du temps à générer. C'est le compromis du calcul au moment de l'inférence : plus de réflexion, souvent de meilleures réponses, mais plus d'attente.
Comment réduire la latence d'une application ?
Les leviers classiques sont de choisir un modèle plus rapide, de raccourcir le prompt et la réponse attendue, et d'activer le streaming pour afficher le texte au fil de l'eau. La mise en cache du prompt peut aussi accélérer les requêtes qui répètent un long contexte.
La latence dépend-elle de ma connexion internet ?
En partie seulement. Le trajet réseau ajoute un peu de délai, mais l'essentiel vient en général du temps de calcul du modèle, de la longueur du texte à lire et à produire, et de la charge des serveurs du fournisseur au moment de la demande.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.