GPQA Diamond

GPQA Diamond : l'explication

Le système reçoit une question scientifique et plusieurs réponses possibles. Il doit sélectionner celle qui correspond à la solution attendue. Pour réussir, il peut avoir besoin de relier des connaissances, interpréter des hypothèses et écarter des propositions plausibles mais incorrectes. Le score porte sur les choix finaux, selon le protocole retenu. Une réponse correcte ne démontre donc pas à elle seule que toute l’explication produite est juste. Inversement, un raisonnement partiellement pertinent peut aboutir à un mauvais choix final.

GPQA a été conçu pour proposer des questions auxquelles une simple recherche d’information ne suffit pas facilement à répondre. Diamond désigne une sélection fondée sur les étapes de validation du jeu initial. Il ne faut pas le confondre avec l’ensemble complet de GPQA. L’[article de présentation de GPQA](https://arxiv.org/abs/2311.12022) décrit l’objectif scientifique et la construction des questions. Pour vous, ce benchmark apporte un signal sur certaines compétences scientifiques avancées, sans représenter directement la qualité d’un assistant dans une conversation ordinaire.

Le format à choix multiples facilite la correction, mais il ne reproduit pas toutes les situations scientifiques. Choisir une réponse parmi des options n’est pas équivalent à concevoir une expérience ou à vérifier une découverte. Les résultats dépendent aussi des instructions, du temps de calcul et des outils autorisés. Les questions publiques peuvent être exposées à la contamination. Pour comparer des scores, vérifiez donc le sous-ensemble exact et le protocole. Un résultat élevé ne dispense jamais de contrôler une affirmation importante dans votre contexte.

Un exemple concret

Vous cherchez un assistant pour vous aider à comprendre des articles de chimie. Un bon résultat GPQA Diamond attire votre attention sur ses capacités scientifiques. Vous lui fournissez ensuite un passage accessible et lui demandez de distinguer observation, hypothèse et conclusion. Vous vérifiez sa réponse dans le document original. Ce test personnel évalue la fidélité et la clarté, deux qualités que la réussite à des questions fermées ne garantit pas.

Pourquoi c'est important

GPQA Diamond peut aider à comparer des modèles sur des questions scientifiques exigeantes. Il reste un indicateur spécialisé, à rapprocher de votre activité réelle. Un assistant documentaire doit aussi citer correctement ses sources, reconnaître ses limites et expliquer sans déformer. Pour un agent utilisant des outils, vérifiez séparément la qualité de la recherche et des calculs. Le score ne mesure pas automatiquement ces étapes ni la fiabilité de chaque réponse produite.

Idées reçues

• Une bonne performance sur GPQA Diamond ne signifie pas qu’un modèle est un scientifique autonome, car répondre à des questions fermées ne démontre pas sa capacité à concevoir des expériences, produire des découvertes ou vérifier des résultats nouveaux.
• Le caractère difficile à résoudre par une simple recherche ne rend pas les questions impossibles à mémoriser, car leur présence dans des données d’entraînement peut toujours influencer les résultats et compliquer l’évaluation des capacités réellement nouvelles.

Autres termes : mesurer et comparer

benchmark

Benchmark désigne un test organisé selon des règles définies pour comparer les performances de systèmes.

indice de capacités d'Epoch AI

L’indice de capacités d’Epoch AI est une mesure composite qui rassemble des résultats de plusieurs benchmarks pour comparer des modèles d’IA.

SWE-bench

SWE-bench est un benchmark qui évalue la résolution de problèmes logiciels issus de projets réels.

FrontierMath

FrontierMath est un benchmark de mathématiques avancées développé par Epoch AI avec des spécialistes du domaine.

OSWorld

OSWorld est une famille de benchmarks et d’environnements qui évaluent des agents réalisant des tâches sur ordinateur.

Terminal-Bench

Terminal-Bench est un ensemble de tests qui mesure la capacité d’un agent IA à accomplir des tâches dans un terminal, une interface où vous saisissez des commandes.

SimpleQA

SimpleQA est un benchmark qui évalue la capacité d’un modèle de langage à répondre à des questions factuelles courtes.

AIME (benchmark)

AIME (benchmark) désigne l’utilisation de problèmes de l’American Invitational Mathematics Examination pour évaluer des modèles de langage.

Où le site en parle

Le terme apparaît dans 125 pages du site. Quelques-unes :

• Benchmark LLM : comment lire les classements des modèles Article
• Claude Fable 5 : prix, contexte et benchmarks Modèle
• Claude Haiku 4.5 : prix, contexte et benchmarks Modèle
• Claude Haiku 5.5 : prix, contexte et benchmarks Modèle
• Claude Opus 4.1 : prix, contexte et benchmarks Modèle
• Claude Opus 4.5 : prix, contexte et benchmarks Modèle
• Claude Opus 4.6 : prix, contexte et benchmarks Modèle
• Claude Opus 4.7 : prix, contexte et benchmarks Modèle