Évaluation d'agents : mesurer ce qu'un agent IA accomplit vraiment
L'évaluation d'agents regroupe les méthodes qui vérifient si un agent IA accomplit réellement une tâche, et pas seulement s'il produit une réponse plausible. Elle juge le résultat final, le chemin suivi, la régularité d'un essai à l'autre, le coût et la sécurité.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|
Pourquoi évaluer un agent est plus difficile
Un benchmark de questions-réponses compare un texte à une solution. Un agent IA, lui, enchaîne des actions : il cherche, appelle des outils, modifie des fichiers. Deux agents peuvent atteindre le même résultat par des chemins très différents, et un même agent peut réussir puis échouer sur la même tâche. L’évaluation doit donc regarder l’état final de l’environnement, la trace d’exécution, la régularité, le coût et les effets indésirables.
Le vocabulaire de base
Dans son guide « Demystifying evals for AI agents » (janvier 2026), Anthropic propose un vocabulaire devenu courant :
- Tâche : un test avec des entrées et un critère de réussite.
- Essai (trial) : une tentative ; on en fait plusieurs, car les résultats varient.
- Correcteur (grader) : la logique qui note. Elle peut être du code (rapide et objectif), un modèle (LLM comme juge, souple mais à calibrer) ou un humain (référence de qualité, mais lent et coûteux).
- Transcription : l’enregistrement complet d’un essai, appels d’outils compris.
- Résultat : l’état final de l’environnement.
Le même guide distingue deux mesures : la probabilité de réussir au moins une fois sur plusieurs essais, et celle de réussir à chaque fois. La première mesure le potentiel, la seconde la fiabilité attendue en production.
Un exemple concret
Une équipe teste un agent qui modifie des réservations de voyage. Chaque tâche fixe un état attendu dans la base de données (« le vol est décalé au lendemain, sans frais supplémentaires »). Un script vérifie cet état ; un modèle juge vérifie que le ton du message au client est correct ; un humain relit un échantillon. Chaque tâche est rejouée plusieurs fois pour mesurer la régularité.
Benchmarks publics et limites
Des benchmarks comme AgentBench (Liu et al., 2023), SWE-bench pour le code ou Terminal-Bench pour la ligne de commande servent de repères communs. Mais ils mesurent une situation précise et peuvent être contaminés par les données d’entraînement. Notre méthodologie détaille comment le site affiche ces scores.
Idées reçues
- « Un bon score public garantit un bon agent chez moi. » Seules vos propres tâches mesurent votre cas d’usage.
- « Il suffit de regarder le score global. » Lire les traces d’échec apprend souvent plus que la moyenne, et l’observabilité des LLM prolonge ce travail en production.
Termes liés
- Benchmark · Test standardisé (série de questions ou de tâches notées) qui permet de comparer les performances de plusieurs modèles d'IA.
- LLM comme juge (LLM-as-a-judge) · Méthode d'évaluation où un modèle de langage note ou compare les réponses d'un autre modèle, selon une grille fournie, à la place d'un humain.
- SWE-bench · Benchmark qui demande à une IA de corriger de vrais tickets GitHub de projets Python ; la correction est validée par les tests du projet.
- Terminal-Bench · Benchmark qui mesure la capacité d'un agent IA à accomplir seul des tâches réelles et difficiles dans un terminal en ligne de commande.
- Observabilité des LLM · Ensemble des traces, mesures et journaux qui montrent ce que fait une application d'IA : prompts, réponses, outils appelés, coût et latence.
Tout le glossaire
Questions fréquentes
Quelle différence avec un benchmark classique ?
Un benchmark classique pose une question et compare la réponse à une solution. Un agent agit sur plusieurs étapes dans un environnement : il faut donc vérifier l'état final (le fichier est-il corrigé, la réservation existe-t-elle ?) et souvent examiner le parcours, pas seulement le dernier message.
Peut-on faire évaluer un agent par une autre IA ?
Oui, c'est la méthode du LLM comme juge, utile pour les tâches ouvertes comme la rédaction. Elle doit être calibrée sur des jugements humains, car le modèle juge a ses propres biais. Les vérifications par code restent préférables quand le résultat est objectivement contrôlable.
Par où commencer pour évaluer son propre agent ?
Par une petite série de tâches réalistes, tirées d'échecs observés, avec un critère de réussite clair sur lequel deux experts seraient d'accord. Lancez-les à chaque changement de prompt, d'outil ou de modèle, et lisez les traces des échecs.
Pourquoi répéter plusieurs fois la même tâche ?
Parce qu'un agent n'est pas déterministe : il peut réussir une fois et échouer la suivante. Mesurer la réussite sur plusieurs essais distingue un agent capable « parfois » d'un agent fiable « à chaque fois ».
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.