Terminal-Bench

Terminal-Bench : l'explication

Un agent reçoit une consigne et accède à un environnement préparé pour la tâche. Il peut examiner des fichiers, lancer des programmes et observer leurs résultats. Des vérifications contrôlent ensuite si l’objectif a été atteint. Cette approche permet de distinguer une réponse qui semble convaincante d’un travail effectivement réalisé. Pour interpréter un résultat, vous devez connaître les commandes accessibles, les limites imposées et les critères de réussite. La [présentation officielle de Terminal-Bench](https://www.tbench.ai/news/announcement) décrit ce cadre d’évaluation.

Ce type de test sert à comparer des agents capables d’agir sur un ordinateur. Un terminal peut donner accès à des fichiers, à des outils de programmation ou à des traitements de données. Pour vous, l’intérêt est de savoir si un système peut enchaîner des opérations et corriger certaines erreurs. Il faut toutefois rapprocher les tâches évaluées de votre activité réelle. Réussir une opération technique préparée pour un test ne suffit pas à démontrer une utilité générale dans votre organisation.

Le résultat dépend du modèle, mais aussi du logiciel qui organise ses actions. Les outils disponibles, le temps accordé et les ressources de calcul peuvent modifier la réussite. Deux scores ne sont donc comparables que si leurs conditions sont suffisamment proches. Vérifiez également la version du benchmark utilisée et le nombre de tentatives autorisées. Enfin, un environnement de test reste simplifié : il ne reproduit pas nécessairement les autorisations, les données sensibles et les incidents que vous rencontrerez en production.

Un exemple concret

Vous cherchez un agent pour préparer des fichiers reçus chaque semaine. Il doit repérer une archive, extraire son contenu, convertir certains documents et déposer les résultats au bon endroit. Un résultat sur Terminal-Bench peut vous renseigner sur sa capacité à utiliser un terminal pour ce genre d’enchaînement. Vous complétez cette indication par un essai sur des copies de vos fichiers, avec des critères vérifiables et des droits limités.

Pourquoi c'est important

Terminal-Bench compte lorsque vous comparez des agents qui doivent exécuter des opérations techniques. Il apporte un signal sur leur efficacité pratique, mais ne garantit ni leur sécurité ni leur adaptation à vos procédures. Pour choisir, examinez les conditions du test, les échecs et les ressources consommées. Un agent qui réussit davantage de tâches peut aussi demander plus de temps, de calcul ou de permissions que votre usage ne le permet.

Idées reçues

• Un bon score sur Terminal-Bench ne signifie pas qu’un agent peut administrer seul votre ordinateur sans risque, car les tests portent sur des tâches délimitées et ne couvrent pas toutes les conséquences possibles de ses commandes.
• Le classement ne mesure pas uniquement le modèle de langage, puisque le programme qui pilote ses actions, les outils accessibles et le budget accordé participent aussi au résultat que vous observez pour une configuration donnée.

Autres termes : mesurer et comparer

benchmark

Benchmark désigne un test organisé selon des règles définies pour comparer les performances de systèmes.

indice de capacités d'Epoch AI

L’indice de capacités d’Epoch AI est une mesure composite qui rassemble des résultats de plusieurs benchmarks pour comparer des modèles d’IA.

SWE-bench

SWE-bench est un benchmark qui évalue la résolution de problèmes logiciels issus de projets réels.

GPQA Diamond

GPQA Diamond est un sous-ensemble sélectionné du benchmark GPQA, composé de questions scientifiques difficiles à choix multiples.

FrontierMath

FrontierMath est un benchmark de mathématiques avancées développé par Epoch AI avec des spécialistes du domaine.

OSWorld

OSWorld est une famille de benchmarks et d’environnements qui évaluent des agents réalisant des tâches sur ordinateur.

SimpleQA

SimpleQA est un benchmark qui évalue la capacité d’un modèle de langage à répondre à des questions factuelles courtes.

AIME (benchmark)

AIME (benchmark) désigne l’utilisation de problèmes de l’American Invitational Mathematics Examination pour évaluer des modèles de langage.

Où le site en parle

Le terme apparaît dans 39 pages du site. Quelques-unes :

• Évaluer un agent IA : jeux de tests, métriques, benchmarks publics et suivi en production Guide
• Benchmark LLM : comment lire les classements des modèles Article
• gpt-oss-120b : prix, contexte et benchmarks Modèle
• Grok 4.20 : prix, contexte et benchmarks Modèle
• Kimi K2 Thinking : prix, contexte et benchmarks Modèle
• MiniMax M2.5 : prix, contexte et benchmarks Modèle
• MiniMax M2.7 : prix, contexte et benchmarks Modèle
• Claude Haiku 4.5 : prix, contexte et benchmarks Modèle