Observabilité des LLM : voir ce que fait vraiment votre application d'IA
L'observabilité des LLM regroupe les traces, mesures et journaux qui montrent, requête par requête, ce que fait une application fondée sur un modèle de langage : quel prompt est parti, quelle réponse est revenue, quels outils ont été appelés, combien cela a coûté et combien de temps cela a pris.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
Définition
Dit simplement : c’est la boîte noire d’un avion, mais pour une application d’IA. Un LLM est non déterministe et un agent IA peut enchaîner de nombreuses étapes avant de répondre. Sans enregistrement détaillé, impossible de savoir pourquoi il s’est trompé, ni où part le budget.
Une solution d’observabilité capture pour chaque requête une trace composée d’étapes (spans) : le prompt système et la question, les passages récupérés, chaque appel d’outil avec ses arguments, la réponse finale, la latence de chaque étape et les tokens consommés. Des outils spécialisés, dont certains open source comme Langfuse, affichent ces traces sous forme d’arbre.
Vers un vocabulaire commun
Le projet OpenTelemetry, standard ouvert de la télémétrie logicielle, maintient des conventions sémantiques pour l’IA générative : spans, métriques et événements pour les clients de modèles, les agents et le protocole MCP. On y trouve par exemple les attributs gen_ai.request.model (modèle demandé) ou gen_ai.usage.input_tokens (tokens en entrée). Intérêt : changer d’outil d’analyse sans réinstrumenter tout le code. Au 22 octobre 2026, ces conventions restent au stade « development ».
Un exemple concret
Un agent de réservation voit ses coûts grimper en une semaine. Les traces révèlent qu’après une mise à jour, l’agent rappelle l’outil de recherche de vols en boucle quand une date est ambiguë, renvoyant chaque fois tout l’historique au modèle. Correction : une question de clarification à l’utilisateur et une limite d’itérations. Les traces suivantes confirment le retour à la normale. Pour anticiper ce type de dérive, notre calculateur de coût d’agent aide à estimer le budget selon le prix par token.
Pourquoi ça compte
- Déboguer : retrouver l’étape exacte où l’agent a dévié.
- Maîtriser les coûts : repérer prompts trop longs, boucles et appels inutiles.
- Évaluer en continu : brancher sur les traces des contrôles automatiques, par exemple un LLM comme juge qui note un échantillon de réponses.
Pièges et idées reçues
- « Les logs suffisent. » Des lignes de journal isolées ne montrent pas l’enchaînement causal des étapes d’un agent.
- « On enregistre tout, on verra plus tard. » Les traces contiennent des données d’utilisateurs : pensez RGPD, masquage et durée de conservation.
- « Observer, c’est évaluer. » Les traces montrent ce qui s’est passé ; juger si c’était bien demande des critères et des tests.
Termes voisins : évaluation d’agents, orchestration, garde-fous.
Termes liés
- Évaluation d'agents · Méthodes pour mesurer si un agent IA accomplit réellement une tâche de bout en bout, de façon fiable, sûre et à un coût acceptable.
- LLM comme juge (LLM-as-a-judge) · Méthode d'évaluation où un modèle de langage note ou compare les réponses d'un autre modèle, selon une grille fournie, à la place d'un humain.
- Latence · Temps d'attente entre l'envoi d'une demande à un modèle d'IA et l'arrivée de sa réponse, du premier mot jusqu'au dernier.
- Prix par million de tokens · Unité de facturation des API d'IA : un tarif pour chaque million de tokens lus en entrée, un autre, souvent plus élevé, pour ceux générés.
- Orchestration d'agents · Coordination de plusieurs appels de modèles, outils ou agents IA : qui fait quoi, dans quel ordre, et comment les résultats sont réunis.
- Garde-fous (guardrails) · Contrôles placés autour d'un modèle d'IA pour filtrer ce qui entre et ce qui sort, et bloquer les réponses ou actions indésirables.
À essayer
Tout le glossaire
Questions fréquentes
Quelle différence avec le monitoring classique ?
Le monitoring classique surveille surtout la disponibilité, les erreurs et les temps de réponse. L'observabilité des LLM ajoute le contenu : prompts, réponses, documents récupérés, étapes de raisonnement d'un agent et consommation de tokens, pour comprendre pourquoi une réponse est mauvaise.
Qu'est-ce qu'une trace ?
C'est l'enregistrement complet d'une requête, découpé en étapes appelées spans : appel au modèle, recherche documentaire, appel d'outil. Chaque étape garde ses entrées, ses sorties, sa durée et ses liens avec les autres.
Existe-t-il un standard ?
OpenTelemetry développe des conventions sémantiques dédiées à l'IA générative, qui fixent des noms communs pour les attributs comme le modèle demandé ou le nombre de tokens en entrée. Au 22 octobre 2026, ces conventions sont encore marquées « en développement ».
Enregistrer les prompts pose-t-il un problème de confidentialité ?
Oui, potentiellement : les traces contiennent souvent des données personnelles saisies par les utilisateurs. Il faut prévoir masquage, durée de conservation limitée et contrôle des accès, conformément au RGPD. Ceci est une information générale, pas un avis juridique.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.