Benchmark

Benchmark : l'explication

Un benchmark associe généralement un ensemble de tâches, une procédure d’exécution et une méthode de notation. Vous pouvez, par exemple, demander à plusieurs assistants de résumer les mêmes documents selon des critères identiques. Certains tests disposent de réponses attendues et d’une correction automatique. D’autres utilisent des évaluateurs humains ou des modèles chargés de juger les productions. Le résultat dépend donc autant de ce qui est demandé que de la manière dont la réussite est définie et mesurée pendant l’évaluation.

Ces évaluations servent à repérer des progrès, comparer des solutions et identifier des difficultés récurrentes. Un test de programmation peut vérifier si une modification passe des tests logiciels. Un test d’utilisation d’ordinateur peut vérifier l’état final d’un document. Ces approches n’observent pas les mêmes capacités. Les [classements SWE-bench](https://www.swebench.com/) illustrent un benchmark organisé en plusieurs ensembles de tâches. Pour comprendre une comparaison, commencez toujours par identifier précisément ce qui a été testé et quelle version du test a été utilisée.

Un score peut changer avec les instructions, les outils autorisés, le temps accordé ou le nombre d’essais. Il peut aussi être influencé par une exposition préalable aux questions pendant l’entraînement. Lorsque beaucoup de systèmes réussissent presque toutes les tâches, le test distingue moins bien leurs capacités. Enfin, une moyenne peut masquer des erreurs importantes sur un domaine particulier. Un benchmark reste donc un instrument de mesure partiel, à compléter par des observations sur vos propres usages et vos contraintes réelles.

Un exemple concret

Vous cherchez un agent pour préparer des réponses aux demandes d’adhésion d’une association. Un classement indique de bons résultats en raisonnement mathématique, mais ne mesure pas cette activité. Vous préparez alors des messages représentatifs, avec des données fictives et des réponses attendues. Vous comparez la justesse, les oublis et le temps de relecture. Ce petit test vous renseigne sur votre besoin, en complément des benchmarks publics.

Pourquoi c'est important

Comprendre un benchmark vous aide à lire un résultat sans lui faire dire davantage que ce qu’il mesure. Vérifiez la version, les conditions d’exécution et la proximité avec votre usage. Pour un agent, regardez aussi les outils et les ressources mobilisés. Une différence de score ne suffit pas toujours à justifier un choix : le coût, les délais, la confidentialité et la gravité des erreurs peuvent compter davantage.

Idées reçues

• Le meilleur score sur un benchmark ne désigne pas automatiquement le meilleur outil pour vous, car les tâches évaluées peuvent être éloignées de vos besoins et ne pas mesurer les coûts, les délais ou les erreurs importantes dans votre activité.
• Un résultat présenté sous forme de pourcentage n’est pas nécessairement comparable à un autre pourcentage, car les ensembles de tâches, les règles de notation, les outils autorisés et le nombre de tentatives peuvent être différents.

Autres termes : mesurer et comparer

indice de capacités d'Epoch AI

L’indice de capacités d’Epoch AI est une mesure composite qui rassemble des résultats de plusieurs benchmarks pour comparer des modèles d’IA.

SWE-bench

SWE-bench est un benchmark qui évalue la résolution de problèmes logiciels issus de projets réels.

GPQA Diamond

GPQA Diamond est un sous-ensemble sélectionné du benchmark GPQA, composé de questions scientifiques difficiles à choix multiples.

FrontierMath

FrontierMath est un benchmark de mathématiques avancées développé par Epoch AI avec des spécialistes du domaine.

OSWorld

OSWorld est une famille de benchmarks et d’environnements qui évaluent des agents réalisant des tâches sur ordinateur.

Terminal-Bench

Terminal-Bench est un ensemble de tests qui mesure la capacité d’un agent IA à accomplir des tâches dans un terminal, une interface où vous saisissez des commandes.

SimpleQA

SimpleQA est un benchmark qui évalue la capacité d’un modèle de langage à répondre à des questions factuelles courtes.

AIME (benchmark)

AIME (benchmark) désigne l’utilisation de problèmes de l’American Invitational Mathematics Examination pour évaluer des modèles de langage.

Où le site en parle

Le terme apparaît dans 407 pages du site. Quelques-unes :

• Mesurer les progrès vers l’AGI : benchmarks, leurs limites, saturation et contamination Guide
• Évaluer un agent IA : jeux de tests, métriques, benchmarks publics et suivi en production Guide
• « How We Get To AGI » : la conférence de François Chollet, chapitre par chapitre Guide
• Choisir un modèle de langage pour son usage : critères, benchmarks, prix, contexte, licence Guide
• L'ARC Prize : la compétition, ses règles, ses éditions, ses résultats et ce qu'ils ont appris Guide
• Quand l’AGI ? Les prévisions publiées, leurs méthodes et pourquoi elles divergent Guide
• ARC-AGI : le test, ses versions et les scores publiés Guide
• La généralisation, cœur de l'intelligence selon François Chollet : définitions, exemples, mesure Guide