Latence

Latence : l'explication

Après votre envoi, plusieurs étapes peuvent précéder l'affichage d'une réponse. La demande traverse éventuellement le réseau, attend une place sur un serveur, puis son contexte est traité par le modèle. Le système peut aussi rechercher des documents ou appeler des outils. La latence observée dépend de cet enchaînement. Pour comprendre une mesure, vous devez connaître son point de départ et son point d'arrivée, par exemple l'envoi de la demande et la réception du premier token.

Cette notion sert à décrire votre attente pendant une interaction. Un assistant qui commence vite à écrire peut sembler réactif même si sa réponse complète prend du temps. À l'inverse, un outil peut rester silencieux pendant une opération puis afficher immédiatement un résultat court. Les applications qui diffusent progressivement le texte rendent cette différence particulièrement visible. Pour une action comme retrouver un rendez-vous, le délai jusqu'au résultat utile peut compter davantage que l'apparition des premiers mots.

La latence varie selon la longueur du contexte, la charge du service, le matériel, le réseau et les opérations demandées. Une moyenne ne décrit pas toujours les attentes inhabituelles que vous rencontrerez. Les comparaisons doivent donc utiliser des tâches et des conditions proches. Il faut aussi distinguer le délai initial du débit de génération. Un modèle peut produire rapidement du texte une fois lancé tout en prenant longtemps à démarrer après votre demande.

Un exemple concret

Vous utilisez deux assistants pour vérifier un horaire dans un document. Le premier affiche rapidement une formule d'attente, puis cherche longtemps. Le second reste silencieux avant de donner directement l'horaire accompagné du passage utile. Pour votre usage, vous chronométrez le délai jusqu'à cette information vérifiable. L'apparition précoce de quelques mots ne suffit pas à déterminer quel assistant vous fait réellement gagner du temps.

Pourquoi c'est important

La latence compte pour les échanges vocaux, les suggestions pendant la rédaction et les agents qui enchaînent des opérations. Choisissez une mesure correspondant à votre usage : premier texte, réponse terminée ou action accomplie. Essayez aussi des situations moins favorables, comme un long document. Une attente réduite peut améliorer le confort, mais elle ne renseigne pas à elle seule sur la qualité ou la fiabilité.

Idées reçues

• Une réponse qui commence vite n'est pas nécessairement terminée plus tôt : le délai initial, la vitesse de génération et le temps des outils sont distincts, et votre véritable attente dépend du moment où le résultat devient utilisable.
• La latence ne dépend pas uniquement de votre connexion Internet : la préparation du contexte, la file d'attente du service, les calculs du modèle et les opérations externes peuvent aussi expliquer une réponse lente sur un réseau rapide.

Autres termes : modèles de langage

hallucination

L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.

Transformer

Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention.

embedding

Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur.

token

Un token est une unité utilisée par un modèle pour représenter et traiter une partie de son entrée ou de sa sortie.

fenêtre de contexte

La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens.

poids ouverts

Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.

IA open source

L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.

quantification

La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.

Où le site en parle

Le terme apparaît dans 23 pages du site. Quelques-unes :

• Agents vocaux : fonctionnement, plateformes, latence, coûts et cas d'usage Guide
• Quantification et format GGUF : principe, niveaux (Q4, Q8…), perte de qualité, choix Guide
• RAG, guide de référence : principe, découpage, embeddings, base vectorielle, évaluation, erreurs courantes Guide
• Les modèles de raisonnement : fonctionnement, ce qu'ils améliorent, limites mesurées Guide
• Fine-tuning ou RAG : comment choisir, coûts, données nécessaires, exemples Guide
• n8n et l’IA, guide de référence : nœuds, agents, mémoire, hébergement et coûts Guide
• Surveiller un agent IA en production : journaux, traces, alertes, outils d'observabilité Guide
• Les agents IA en octobre 2026 : l'état des lieux Article