Benchmark LLM : comment lire les classements des modèles
Un benchmark LLM mesure une compétence précise dans des conditions précises : il ne dit pas si un modèle est « intelligent », ni s’il conviendra à votre usage. Pour lire un classement, vérifiez quatre choses : ce que le test mesure, s’il est déjà saturé, si l’écart entre deux modèles dépasse la marge d’erreur, et ce que coûte chaque point gagné. Les chiffres de cet article viennent des données d’Epoch AI et des prix d’OpenRouter, relevés le 24 octobre 2026.
Ce qu’un benchmark mesure (et ce qu’il ne mesure pas)
Un benchmark est une série de questions ou de tâches dont la bonne réponse est connue, passée à chaque modèle dans les mêmes conditions. Le score est la part de réussites.
Trois limites sont propres à tous les benchmarks :
- Une compétence étroite. Un test de mathématiques de compétition ne dit rien de la capacité à modifier un dépôt de code, ni à suivre une consigne métier sur 40 étapes.
- Des conditions fixées. Nombre d’essais, durée de raisonnement autorisée, accès ou non à des outils : changer un seul de ces réglages peut déplacer le score de plusieurs points.
- La contamination. Quand les questions circulent sur le web, elles peuvent se retrouver dans les données d’entraînement. Le modèle se souvient alors de la réponse au lieu de la trouver. C’est pour cela que plusieurs benchmarks récents gardent une partie de leurs questions privée, comme FrontierMath.
Les benchmarks que vous croiserez le plus
Le tableau ci-dessous reprend les benchmarks affichés sur nos fiches des modèles, avec le nombre de modèles notés dans les données d’Epoch AI au 24 octobre 2026.
| Benchmark | Ce qu’il mesure | Modèles notés | Meilleur score relevé |
|---|---|---|---|
| GPQA Diamond | Questions de sciences de niveau doctorat, à choix multiple (4 réponses) | 124 | 96,4 % |
| OTIS Mock AIME 2024-2025 | Problèmes de mathématiques de compétition | 124 | 100 % |
| FrontierMath (niveaux 1-3) | Problèmes de mathématiques de recherche, questions privées | 85 | 93,7 % |
| SimpleQA Verified | Exactitude sur des questions factuelles courtes | 80 | 76 % |
| ARC-AGI-1 | Puzzles visuels de raisonnement abstrait | 73 | 98,5 % |
| ARC-AGI-2 | Version plus difficile d’ARC-AGI | 73 | 95 % |
| Terminal-Bench | Tâches réelles dans un terminal | 37 | 84,7 % |
| SWE-bench Verified | Correction de vrais tickets GitHub dans des projets Python | 28 | 83,5 % |
| Aider Polyglot | Exercices de code dans six langages | 25 | 88 % |
| OSWorld | Utilisation d’un ordinateur (applications, fichiers) | 6 | 72,1 % |
Sources : GPQA, SWE-bench, Terminal-Bench, OSWorld, Aider, ARC-AGI. Le benchmark LLM du Labo permet de trier et filtrer ces scores modèle par modèle.
Deux remarques sur ce tableau. D’abord, les benchmarks les plus proches d’un usage réel d’agent (SWE-bench Verified, Terminal-Bench, OSWorld) sont aussi ceux qui ont le moins de modèles notés : la comparaison y est plus incomplète. Ensuite, la place d’ARC-AGI est particulière : conçu pour mesurer la capacité à résoudre des problèmes jamais vus plutôt que des connaissances, il est expliqué en détail dans ARC-AGI : le benchmark, ses versions et les scores.
Premier piège : la saturation
Un benchmark est saturé quand la plupart des modèles récents y obtiennent un score proche du maximum. Il ne permet plus de les départager.
Dans les données relevées :
- sur GPQA Diamond, 77 des 124 modèles notés dépassent 80 % et le score médian est de 85,3 % ;
- sur OTIS Mock AIME, 79 des 124 modèles dépassent 80 %, et plusieurs atteignent 100 % ;
- à l’inverse, sur SimpleQA Verified, aucun des 80 modèles notés n’atteint 80 % (meilleur score : 76 %).
Concrètement, un écart de deux points sur GPQA Diamond entre deux modèles de pointe ne veut presque rien dire, alors que le même écart sur un benchmark loin d’être saturé est plus parlant. Avant de comparer, regardez où se situe la moyenne des modèles sur le test.
Deuxième piège : ignorer la marge d’erreur
Chaque score est une estimation, avec une incertitude. Un classement trié au dixième de point cache souvent des égalités.
L’Epoch Capabilities Index (ECI), qui combine de nombreux benchmarks sur une seule échelle de « capacité générale », publie cet intervalle. Au 24 octobre 2026, les trois premiers modèles sont :
| Modèle | ECI | Intervalle |
|---|---|---|
| Claude Opus 5.5 | 168,8 | 165,3 – 174,0 |
| GPT-6 Astra | 168,8 | 165,5 – 174,5 |
| GPT-6.1 Sol | 168,4 | 165,0 – 174,4 |
Les intervalles se chevauchent presque entièrement : ces trois modèles sont à égalité sur cet indice. Tout titre qui annonce « le modèle X détrône le modèle Y » sur la base d’un tel écart en dit plus long que les données.
Règle pratique : si l’écart entre deux modèles est plus petit que la largeur de leur intervalle, considérez-les comme équivalents et départagez-les sur autre chose (prix, vitesse, fenêtre de contexte, licence).
Troisième piège : oublier le prix
À capacité égale, les prix peuvent varier d’un facteur cinq ou plus. Dans le relevé OpenRouter du 24 octobre 2026 :
- GPT-6 Astra coûte 10 $ par million de tokens en entrée et 50 $ en sortie ;
- GPT-6.1 Sol, au même niveau d’ECI, coûte 2 $ et 10 $ ;
- Claude Haiku 5.5, avec un ECI de 159,3, coûte 0,10 $ et 0,50 $.
Pour un agent, qui appelle le modèle des dizaines de fois par tâche, cet écart pèse lourd sur la facture mensuelle. Chaque fiche modèle place le modèle sur un graphique prix / score face aux autres, et le calculateur de prix LLM transforme ces tarifs en coût mensuel selon votre volume. Les tarifs évoluent : référez-vous à la fiche, mise à jour à chaque relevé, plutôt qu’aux chiffres de cet article.
Quatrième piège : le score de l’éditeur
Les éditeurs publient leurs propres scores au lancement d’un modèle. Ils sont utiles, mais ce sont des annonces :
- l’éditeur choisit les benchmarks où son modèle est bien placé ;
- il choisit les conditions (nombre d’essais, raisonnement maximal, outils) ;
- il compare souvent à d’anciennes versions des concurrents.
Les évaluations indépendantes (Epoch AI, l’ARC Prize, les classements maintenus par les auteurs des benchmarks) sont plus comparables entre elles. Vérifiez aussi la date : un score vieux de six mois compare souvent à des modèles déjà remplacés.
Les benchmarks d’agents : plus proches de la réalité, encore jeunes
Pour choisir le modèle d’un agent IA, les tests en plusieurs étapes avec outils sont les plus parlants :
- SWE-bench Verified : le modèle reçoit un vrai ticket et un dépôt de code, et doit produire un correctif qui fait passer les tests ;
- Terminal-Bench : des tâches à accomplir dans un terminal (installer, configurer, déboguer) ;
- OSWorld : des tâches sur un vrai système d’exploitation, avec souris, clavier et applications.
Leur limite : le score dépend autant de l’agent (les outils, la boucle, les instructions) que du modèle. Un même modèle peut gagner ou perdre plusieurs points selon l’outillage. C’est pourquoi nos fiches des agents IA évaluent les agents eux-mêmes (activité, licence, modèles compatibles, risques), à côté des fiches des modèles.
Méthode en cinq questions
Avant de tirer une conclusion d’un classement :
- Que mesure ce test, et est-ce proche de ma tâche ?
- Est-il saturé ? Où se situe la médiane des modèles ?
- L’écart dépasse-t-il la marge d’erreur ?
- Qui a mesuré, dans quelles conditions, et quand ?
- Que coûte la différence ? Le gain vaut-il le surcoût sur mon volume ?
Et si le choix reste serré, le test le plus fiable reste le vôtre : une vingtaine d’exemples réels de votre tâche, passés aux deux ou trois modèles retenus, avec une grille de notation écrite à l’avance. Le guide Choisir un modèle LLM pour son agent détaille cette méthode, et Le LLM le moins cher pour chaque usage applique le critère du prix.
À retenir
- Un benchmark mesure une compétence étroite dans des conditions fixées, pas l’intelligence générale.
- Les tests saturés (GPQA Diamond, AIME) ne départagent plus les modèles de pointe.
- Un écart inférieur à la marge d’erreur est une égalité : en octobre 2026, les trois premiers de l’ECI sont dans ce cas.
- À capacité égale, le prix peut varier d’un facteur cinq : comparez toujours le coût par tâche.
- Pour la question de fond, celle de mesurer une intelligence générale, voir Qu’est-ce que l’AGI ?.
Questions fréquentes
Quel est le meilleur benchmark pour comparer des LLM ?
Aucun ne suffit seul. Un indice composite comme l'Epoch Capabilities Index donne une vue générale ; un benchmark proche de votre tâche (SWE-bench Verified pour le code, OSWorld pour l'usage d'un ordinateur, SimpleQA Verified pour l'exactitude des faits) dit davantage sur votre cas. L'idéal reste un petit test sur vos propres exemples.
Pourquoi deux classements donnent-ils des résultats différents ?
Ils ne mesurent pas la même chose, ni dans les mêmes conditions : choix des questions, nombre d'essais autorisés, réglage du raisonnement, outils disponibles, version exacte du modèle. Un écart de quelques points entre deux classements est normal et souvent inférieur à la marge d'erreur.
Les scores publiés par les éditeurs sont-ils fiables ?
Ils sont utiles mais à prendre comme une annonce : l'éditeur choisit les benchmarks où son modèle brille et ses conditions de test. Les évaluations indépendantes, comme celles d'Epoch AI ou de l'ARC Prize, sont à privilégier pour comparer, en vérifiant leur date.
Un score de 90 % veut-il dire que le modèle se trompe une fois sur dix ?
Seulement sur les questions de ce benchmark, dans ses conditions de test. Sur vos propres tâches, le taux d'erreur peut être très différent, plus bas sur des tâches simples, beaucoup plus haut sur des sujets absents du benchmark ou sur des tâches longues en plusieurs étapes.