GPQA : des questions d'experts que Google ne suffit pas à résoudre
GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de questions à choix multiples en biologie, physique et chimie, écrites par des spécialistes de niveau doctorat. Elles sont conçues pour qu'une personne non spécialiste ne trouve pas la réponse, même avec un accès libre au web.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2023 |
| Introduit par | Rein et al. |
Origine et objectif
GPQA a été présenté dans l’article « GPQA: A Graduate-Level Google-Proof Q&A Benchmark » (David Rein, Samuel R. Bowman et al., novembre 2023). Le jeu de données compte 448 questions à choix multiples rédigées par des experts de biologie, de physique et de chimie, puis vérifiées par d’autres experts et testées sur des non-spécialistes.
L’objectif des auteurs dépassait le simple classement de modèles : ils voulaient un terrain d’étude pour la « supervision évolutive » (scalable oversight), c’est-à-dire la question de savoir comment des humains peuvent encore contrôler les réponses d’IA sur des sujets où celles-ci les dépassent. Il faut des questions que seuls de vrais experts savent trancher : d’où le niveau doctorat et la résistance à la recherche web.
Ce que le benchmark mesure
GPQA teste la capacité d’un modèle à combiner connaissances scientifiques pointues et raisonnement en plusieurs étapes, sans pouvoir s’appuyer sur une réponse disponible telle quelle en ligne. C’est pourquoi il est devenu un repère pour les modèles de raisonnement et pour mesurer l’effet du calcul au moment de l’inférence : laisser le modèle réfléchir plus longtemps y change souvent nettement le résultat.
Ses limites
- Le format QCM : choisir parmi quatre réponses est plus facile que produire une réponse ouverte, et le hasard donne déjà un score non nul.
- La petite taille : avec quelques centaines de questions, et encore moins pour Diamond, de faibles écarts entre modèles relèvent souvent du bruit statistique.
- La saturation : quand les meilleurs modèles approchent du plafond, le benchmark ne les départage plus bien.
- La contamination : malgré les précautions des auteurs, des questions peuvent avoir circulé.
- Un champ étroit : trois disciplines scientifiques, aucune action, aucun usage d’outil, contrairement à SWE-bench ou aux autres méthodes d’évaluation d’agents.
Comment lire les scores
Un score GPQA indique une tendance sur un type d’effort intellectuel précis, à croiser avec d’autres benchmarks. Les scores à jour figurent dans le classement, et notre méthodologie précise leurs sources et leur date.
Idée reçue
- « GPQA mesure l’intelligence générale. » Il mesure la réussite à un questionnaire scientifique difficile, ce qui est utile mais beaucoup plus étroit.
Termes liés
- Benchmark · Test standardisé (série de questions ou de tâches notées) qui permet de comparer les performances de plusieurs modèles d'IA.
- Modèle de raisonnement · Modèle de langage entraîné à « réfléchir » par étapes avant de répondre : plus lent et plus coûteux, mais plus solide en maths, code et logique.
- SWE-bench · Benchmark qui demande à une IA de corriger de vrais tickets GitHub de projets Python ; la correction est validée par les tests du projet.
- Évaluation d'agents · Méthodes pour mesurer si un agent IA accomplit réellement une tâche de bout en bout, de façon fiable, sûre et à un coût acceptable.
- Calcul à l'inférence (test-time compute) · Puissance de calcul dépensée par un modèle au moment de répondre, par exemple pour réfléchir plus longtemps ou comparer plusieurs pistes.
À essayer
Tout le glossaire
Questions fréquentes
Que veut dire « Google-proof » ?
Que la réponse ne se trouve pas facilement en ligne. Lors de la construction du jeu de données, des validateurs compétents mais hors de leur spécialité ont passé en moyenne plus de 30 minutes par question avec un accès illimité au web, et se sont souvent trompés.
Qu'est-ce que GPQA Diamond ?
C'est le sous-ensemble le plus exigeant de GPQA, composé des questions sur lesquelles les experts s'accordent et que les non-spécialistes ratent. C'est la version la plus souvent citée dans les annonces de modèles et dans les tableaux de scores.
Pourquoi ne voit-on pas d'exemple de question GPQA ?
Les auteurs demandent explicitement de ne pas publier d'exemples en clair sur le web, pour limiter le risque qu'ils se retrouvent dans les données d'entraînement des modèles. Le jeu de données est d'ailleurs distribué dans une archive protégée par mot de passe.
Un bon score à GPQA signifie-t-il que l'IA est un expert scientifique ?
Non. Il montre qu'elle choisit souvent la bonne réponse parmi quatre propositions sur ces questions précises. Mener une recherche, concevoir une expérience ou repérer une question mal posée sont d'autres compétences, que GPQA ne mesure pas.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.