Niveau : Intermédiaire
Comprendre les benchmarks d'IA et leurs pièges
Par La rédaction d'Info Agent IA ·
Un benchmark d’IA est un test standardisé qui note les modèles sur une compétence précise : raisonnement scientifique, mathématiques, code ou tâches d’agent. Bien lus, ces tests aident à comparer les modèles. Mal lus, ils induisent en erreur, car chacun a ses angles morts.
À quoi sert un benchmark ?
Un benchmark est une série de questions ou de tâches, toujours identiques, avec une règle de notation fixe. On le fait passer à plusieurs modèles dans les mêmes conditions pour obtenir des scores comparables. C’est l’équivalent d’un examen commun : utile pour situer les candidats, sans dire tout ce qu’ils savent faire.
Notre classement des modèles d’IA s’appuie sur les données de l’institut de recherche Epoch AI, publiées sous licence CC BY 4.0. Voici son haut de tableau au 22 octobre 2026.
| Rang | Modèle | Organisation | Indice |
|---|---|---|---|
| 1 | Claude Sonnet 5.5 | Anthropic | 95,9 |
| 2 | Claude Opus 5.5 | Anthropic | 95,9 |
| 3 | Gemini 4 Argon | Google DeepMind | 95,3 |
| 4 | GPT-6 Astra | OpenAI | 94,7 |
| 5 | Claude Opus 5 | Anthropic | 92,7 |
| 6 | Claude Fable 5.1 | Anthropic | 92,6 |
| 7 | GPT-6.1 Sol | OpenAI | 92,1 |
| 8 | Claude Fable 5 | Anthropic | 90,8 |
| 9 | GPT-6 Sol | OpenAI | 89,2 |
| 10 | GPT-5.5 | OpenAI | 89 |
Les 7 tests du classement
Le classement retient un panier de 7 benchmarks. Leurs descriptions ci-dessous viennent des pages officielles d’Epoch AI, consultées le 22 octobre 2026 (epoch.ai/benchmarks).
| Benchmark | Ce qu’il mesure | Taille | Questions publiques ? |
|---|---|---|---|
| GPQA Diamond | Questions de sciences de niveau doctorat, à 4 choix | 198 questions | Non publiées en clair |
| OTIS Mock AIME 2024-2025 | Problèmes de mathématiques de compétition, réponse de 000 à 999 | 45 problèmes | Non précisé par l’éditeur |
| FrontierMath | Mathématiques de recherche, problèmes inédits | Plusieurs centaines | Non, pour l’essentiel |
| SWE-bench Verified | Corriger de vrais bugs dans des projets Python | 500 tâches | Oui |
| FrontierCode | Produire un correctif assez bon pour être fusionné | 150 tâches | Tickets publics |
| Terminal-Bench 2.0 | Accomplir des tâches dans un terminal | Non précisé par l’éditeur | Non précisé par l’éditeur |
| APEX-Agents | Tâches professionnelles longues, entre plusieurs applications | 480 tâches | Non précisé par l’éditeur |
Quelques précisions utiles :
- GPQA Diamond (page Epoch AI) : 198 questions à quatre choix en biologie, physique et chimie. Répondre au hasard donne 25 %, ce qui fixe le plancher.
- OTIS Mock AIME (page Epoch AI) : 45 problèmes écrits par des élèves d’un programme de préparation aux olympiades, plus difficiles que les exercices scolaires, plus faciles que FrontierMath.
- FrontierMath (page Epoch AI) : des problèmes non publiés écrits par des mathématiciens, répartis en quatre niveaux, auxquels s’ajoutent des problèmes ouverts de recherche.
- SWE-bench Verified : 500 tâches relues par des humains, tirées de vrais tickets de projets open source en Python.
- FrontierCode (page Epoch AI) : conçu par Cognition, il juge si le correctif d’un agent pourrait être accepté par les mainteneurs : comportement corrigé, pas de régression, style et conventions du projet respectés.
- Terminal-Bench (page Epoch AI) : des tâches à mener dans un terminal, comme le ferait un développeur ou un administrateur système.
- APEX-Agents (page Epoch AI) : conçu par Mercor, 480 tâches réparties à parts égales entre banque d’affaires, conseil en management et droit des affaires. Selon Epoch AI, un professionnel mettrait en moyenne 1,8 heure pour chacune.
Comment se calcule l’indice ?
Les scores bruts ne sont pas comparables d’un test à l’autre : 60 % sur FrontierMath vaut bien plus que 60 % sur GPQA. Notre méthodologie les normalise donc test par test. Sur chaque benchmark, le meilleur modèle évalué reçoit 100 et le moins bon 0, les autres se plaçant entre les deux. L’indice est la moyenne de ces scores normalisés, et il n’est calculé que pour les modèles notés sur au moins 4 des 7 tests.
Deux conséquences pratiques. D’abord, l’indice est relatif : quand un nouveau modèle bat le record d’un test, les scores normalisés des autres baissent, même si leurs résultats bruts n’ont pas bougé. C’est pourquoi un ancien modèle peut perdre des points au fil des mois. Ensuite, deux modèles qui n’ont pas passé exactement les mêmes tests sont comparés sur des bases un peu différentes.
Les pièges à connaître
La contamination
Un modèle apprend à partir d’immenses quantités de textes collectés sur le web. Si les questions d’un test et leurs réponses y figurent, il peut réussir par mémoire plutôt que par raisonnement : c’est la contamination. Le risque est plus élevé pour les tests publics de longue date. SWE-bench et FrontierCode reposent par exemple sur des tickets publics de projets open source. À l’inverse, FrontierMath garde l’essentiel de ses problèmes secrets, et les auteurs de GPQA demandent de ne pas publier d’exemples en clair sur le web et diffusent le jeu de données dans une archive protégée par mot de passe.
La saturation
Un test cesse d’être utile quand tous les bons modèles s’approchent du maximum. Selon Epoch AI, le meilleur score sur GPQA Diamond est passé de 35,7 % (GPT-4) au premier trimestre 2023 à 76,8 % (o1) fin 2024, puis 92,6 % (Gemini 3 Pro) fin 2025 et 96,4 % (Gemini 4 Argon) au troisième trimestre 2026. À ce niveau, les écarts entre les premiers deviennent minces et le test départage mal. C’est pour cela que de nouveaux benchmarks, plus durs, apparaissent régulièrement.
Le bruit des petits tests
Avec 45 problèmes, chaque réponse juste ou fausse fait varier le score d’environ 2,2 points. Avec 198 questions, d’environ un demi-point. Un écart d’un ou deux points entre deux modèles peut donc relever du hasard. Epoch AI répète les essais pour lisser ce bruit, mais il ne disparaît pas.
Les conditions de test
Un score dépend de la façon dont on interroge le modèle : consigne, nombre d’essais, réglages, temps de réflexion accordé aux modèles de raisonnement. Epoch AI indique utiliser un prompt système vide et les réglages par défaut des API. Pour Terminal-Bench, l’enjeu est encore plus net : le score dépend du couple modèle et agent, car l’outil qui pilote le modèle change le résultat. Selon Epoch AI, seule la meilleure combinaison est retenue pour chaque modèle, parmi des agents comme Claude Code, Codex CLI, Terminus ou Goose.
Le modèle juge
Certains tests ne peuvent pas être corrigés automatiquement. APEX-Agents note chaque tâche avec une grille d’experts appliquée par un autre modèle : c’est le principe du LLM comme juge. Pratique à grande échelle, cette méthode hérite des biais du modèle correcteur.
L’écart avec votre usage
Aucun des 7 tests ne mesure la qualité d’un courriel, d’un résumé ou d’une traduction en français. Un modèle très bien classé en mathématiques peut être moins agréable au quotidien qu’un modèle plus modeste. Pour les agents, notre guide évaluer un agent IA propose une méthode sur vos propres tâches.
Ce que disent les benchmarks sur le prix
Les benchmarks servent aussi à suivre le coût de la performance. Selon Epoch AI, le prix le plus bas pour un modèle atteignant 70 % à GPQA Diamond était de 26,25 dollars par million de tokens fin 2024, avec o1. Au troisième trimestre 2026, il tombe à 0,055 dollar, avec Qwen3.7 Flash. Un niveau réservé hier aux modèles les plus chers est désormais accessible pour une fraction du prix. Cela ne veut pas dire que ce modèle bon marché vaut un modèle de pointe sur tout le reste.
Lire un classement en cinq réflexes
- Regardez quels tests comptent. Un indice global mélange des compétences. Si vous codez, les colonnes SWE-bench et FrontierCode vous parlent plus que GPQA.
- Ne surinterprétez pas les petits écarts. Un ou deux points en haut du tableau peuvent relever du bruit.
- Vérifiez la date. Un classement vieillit vite : un modèle sorti la semaine dernière peut tout rebattre.
- Comparez à conditions égales. Mélanger les scores de sources différentes fausse la comparaison.
- Testez vous-même. Le score qui compte le plus est celui que le modèle obtient sur vos tâches.
Vérifiez-vous Un modèle obtient 2 points de plus qu'un autre sur un test de 45 problèmes. Est-il clairement meilleur ?
Non. Sur 45 problèmes, une seule réponse juste de plus fait gagner environ 2,2 points. L’écart peut donc venir du hasard d’un essai. Regardez plutôt l’ensemble des tests et les écarts nets.
Les classements jouent aussi un rôle dans le paysage économique : ils pèsent sur l’image des fabricants, comme le montre notre guide qui fabrique les IA ?. Ils aident à situer l’IA européenne face aux modèles américains et chinois, et à comparer modèles ouverts et fermés, sujet de notre article IA open source ou propriétaire. Enfin, l’évaluation des modèles les plus puissants entre dans les obligations prévues par le règlement européen, présenté dans notre résumé de l’AI Act.
Questions fréquentes
Qu'est-ce qu'un benchmark d'IA ?
C'est un test standardisé : une série de questions ou de tâches, toujours les mêmes, avec une façon fixe de noter les réponses. On le fait passer à plusieurs modèles pour les comparer dans les mêmes conditions. Un benchmark mesure une compétence précise, jamais la qualité d'une IA en général.
Qu'est-ce que la contamination d'un benchmark ?
On parle de contamination quand les questions d'un test, ou leurs réponses, se retrouvent dans les données d'entraînement d'un modèle. Le modèle peut alors réussir par mémoire plutôt que par raisonnement, et son score est gonflé. Les tests dont les questions restent secrètes limitent ce risque.
Un modèle premier au classement est-il le plus adapté pour moi ?
Pas forcément. Le classement agrège des tests de sciences, de mathématiques, de code et d'agents. Si vous rédigez des courriels ou résumez des documents, un modèle moins bien classé, plus rapide ou moins cher, peut très bien convenir. Le mieux est d'essayer deux ou trois modèles sur vos propres tâches.
Pourquoi les scores changent-ils d'une source à l'autre ?
Parce que les conditions de test diffèrent : consignes, nombre d'essais, réglages du modèle, outils autorisés, version du benchmark. Pour les tests d'agents, l'outil qui pilote le modèle compte aussi. Comparez donc des scores issus d'une même source, mesurés de la même façon.