Terminal-Bench : tester un agent IA en ligne de commande
Terminal-Bench est un benchmark qui donne à un agent IA une tâche concrète à accomplir seul dans un terminal, puis vérifie automatiquement si le résultat est correct. Il sert à comparer les agents de code et les modèles qui les animent sur un travail proche de celui d'un développeur ou d'un administrateur système.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2025 |
| Introduit par | Merrill, Shaw et al. (Stanford, Laude Institute) |
Ce que mesure Terminal-Bench
Un agent IA de code ne se contente pas d’écrire du texte : il tape des commandes, lit les erreurs, modifie des fichiers et recommence. Terminal-Bench vérifie si ce travail aboutit. Chaque tâche comprend une consigne en langage naturel, un environnement Docker dédié, une solution écrite et vérifiée par un humain, et un script de tests qui contrôle l’état final du conteneur. L’agent reçoit seulement la consigne et le terminal ; la note dépend uniquement du passage des tests, pas de la qualité de ses explications.
Les tâches s’inspirent de situations réelles : mener un calcul scientifique, configurer un réseau, analyser des données, appeler des API, jouer à un jeu ou corriger une faille de sécurité. Le résultat principal est un taux de résolution, souvent accompagné du coût et du nombre de tokens consommés.
Origine et versions
Terminal-Bench a été lancé le 19 mai 2025 par une équipe de Stanford et du Laude Institute (Mike Merrill, Alex Shaw, Ludwig Schmidt, Andy Konwinski, entre autres). La version 2.0, publiée en novembre 2025, a été plus soigneusement vérifiée après que la communauté a repéré des tâches instables, et s’accompagne d’un nouvel outil d’évaluation, Harbor. Elle est décrite dans l’article « Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces » (janvier 2026). D’autres révisions ont suivi en 2026, qui retirent notamment les tâches « saturées », c’est-à-dire réussies systématiquement par tous les modèles récents.
Pourquoi c’est utile, et ses limites
Terminal-Bench est l’un des rares benchmarks qui évaluent un agent de bout en bout, modèle et outillage compris. C’est pourquoi il apparaît dans de nombreuses annonces de modèles orientés codage agentique.
Quelques précautions de lecture, toutefois :
- Le score mesure un couple modèle + agent. Le même modèle peut obtenir des résultats très différents selon l’outillage qui l’entoure.
- Les versions ne sont pas comparables entre elles. Un chiffre sans numéro de version ne dit pas grand-chose.
- Le risque de contamination existe. Les tâches sont publiques ; les auteurs insèrent une chaîne d’avertissement pour qu’elles soient exclues des données d’entraînement, et retirent les tâches dont la solution circule en ligne.
- Un environnement de test n’est pas la production. Les conteneurs sont isolés (bac à sable) : une erreur n’y coûte rien.
Notre classement des IA reprend des scores publics de benchmarks, datés ; notre méthodologie explique d’où ils viennent et comment les lire.
Termes liés
- Benchmark · Test standardisé (série de questions ou de tâches notées) qui permet de comparer les performances de plusieurs modèles d'IA.
- Évaluation d'agents · Méthodes pour mesurer si un agent IA accomplit réellement une tâche de bout en bout, de façon fiable, sûre et à un coût acceptable.
- SWE-bench · Benchmark qui demande à une IA de corriger de vrais tickets GitHub de projets Python ; la correction est validée par les tests du projet.
- Codage agentique · Développement logiciel où un agent IA lit le code, modifie les fichiers, lance les tests et corrige ses erreurs en plusieurs étapes, sous supervision.
- Bac à sable (sandboxing) · Isolement d'un agent IA dans un environnement fermé où ses fichiers, son réseau et ses commandes sont limités, pour contenir les dégâts possibles.
- Agent IA · IA qui ne se contente pas de répondre : elle planifie et enchaîne des actions avec des outils pour atteindre un objectif donné.
Tout le glossaire
Questions fréquentes
Quelle différence entre Terminal-Bench et SWE-bench ?
SWE-bench demande de corriger des bugs réels dans des dépôts open source publiés sur GitHub, et juge le correctif par les tests du projet. Terminal-Bench couvre des tâches plus variées dans un terminal : réseau, données, sécurité, calcul scientifique, jeux. Les deux sont complémentaires.
Pourquoi y a-t-il plusieurs versions de Terminal-Bench ?
Les meilleurs agents finissent par réussir certaines tâches à chaque essai, qui ne permettent plus de les départager. Les auteurs publient donc des révisions qui corrigent des tâches défectueuses, en retirent d'autres et en ajoutent de plus difficiles. Un score n'a de sens qu'avec le numéro de version.
Un bon score Terminal-Bench signifie-t-il que je peux laisser un agent seul sur mon serveur ?
Non. Le benchmark se déroule dans des conteneurs isolés et jetables, sans enjeu réel. Sur une vraie machine, gardez un environnement isolé, des droits limités et une validation humaine pour les actions sensibles.
Qui gère Terminal-Bench ?
Le projet est porté par des chercheurs de Stanford et le Laude Institute, avec une large communauté de contributeurs qui proposent des tâches. Le jeu de tâches et l'outil d'évaluation sont publics sur le site officiel.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.