GPQA: preguntas de expertos que Google no basta para resolver
GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de preguntas de opción múltiple de biología, física y química, escritas por especialistas con nivel de doctorado. Están pensadas para que una persona no especialista no encuentre la respuesta, ni siquiera con acceso libre a internet.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2023 |
| Introducido por | Rein et al. |
Origen y objetivo
GPQA se presentó en el artículo «GPQA: A Graduate-Level Google-Proof Q&A Benchmark» (David Rein, Samuel R. Bowman et al., noviembre de 2023). El conjunto de datos reúne 448 preguntas de opción múltiple redactadas por expertos en biología, física y química, revisadas por otros expertos y probadas con no especialistas.
El objetivo de los autores iba más allá de clasificar modelos: buscaban un terreno de estudio para la «supervisión escalable» (scalable oversight), es decir, cómo pueden las personas seguir controlando las respuestas de una IA en temas en los que esta sabe más que ellas. Para eso hacen falta preguntas que solo los verdaderos expertos sepan resolver: de ahí el nivel de doctorado y la resistencia a la búsqueda web.
Qué mide el benchmark
GPQA pone a prueba la capacidad de un modelo para combinar conocimientos científicos especializados con un razonamiento en varios pasos, sin poder apoyarse en una respuesta disponible tal cual en internet. Por eso se ha convertido en una referencia para los modelos de razonamiento y para medir el efecto del cómputo en tiempo de inferencia: dejar que el modelo piense más tiempo suele cambiar claramente el resultado.
Sus límites
- El formato de opción múltiple: elegir entre cuatro respuestas es más fácil que producir una respuesta abierta, y el azar ya da una puntuación distinta de cero.
- El tamaño reducido: con unos cientos de preguntas, y aún menos en Diamond, las pequeñas diferencias entre modelos suelen ser ruido estadístico.
- La saturación: cuando los mejores modelos se acercan al techo, el benchmark ya no los distingue bien.
- La contaminación: pese a las precauciones de los autores, algunas preguntas pueden haber circulado.
- Un campo estrecho: tres disciplinas científicas, sin acciones ni uso de herramientas, a diferencia de SWE-bench o de otros métodos de evaluación de agentes.
Cómo leer las puntuaciones
Una puntuación en GPQA indica una tendencia en un tipo de esfuerzo intelectual concreto, que conviene cruzar con otros benchmarks. Las puntuaciones actualizadas figuran en el ranking de IA, y nuestra metodología detalla sus fuentes y su fecha.
Una idea falsa frecuente
- «GPQA mide la inteligencia general». Mide el acierto en un cuestionario científico difícil, algo útil pero mucho más limitado.
Términos relacionados
- Benchmark · Prueba estandarizada (conjunto fijo de preguntas o tareas puntuadas) que sirve para comparar el rendimiento de varios modelos de IA.
- Modelo de razonamiento · Modelo de lenguaje entrenado para «pensar» por pasos antes de responder: más lento y caro, pero más sólido en matemáticas, código y lógica.
- SWE-bench · Benchmark que pide a una IA resolver incidencias reales de GitHub en proyectos Python; cada corrección se valida con los tests del proyecto.
- Evaluación de agentes · Métodos para medir si un agente de IA completa de verdad una tarea de principio a fin, de forma fiable, segura y a un coste razonable.
- Cómputo en inferencia (test-time compute) · Potencia de cálculo que gasta un modelo en el momento de responder, por ejemplo para razonar más tiempo o comparar varias soluciones.
Para probar
Todo el glosario
Preguntas frecuentes
¿Qué significa «Google-proof»?
Que la respuesta no se encuentra fácilmente en internet. Al construir el conjunto de datos, validadores competentes pero ajenos a la especialidad dedicaron de media más de 30 minutos por pregunta con acceso ilimitado a la web, y aun así fallaron a menudo.
¿Qué es GPQA Diamond?
Es el subconjunto más exigente de GPQA, formado por las preguntas en las que los expertos coinciden y que los no especialistas fallan. Es la versión más citada en los anuncios de modelos y en las tablas de puntuaciones.
¿Por qué no se muestra ningún ejemplo de pregunta de GPQA?
Los autores piden expresamente no publicar ejemplos en texto plano en internet, para reducir el riesgo de que acaben en los datos de entrenamiento de los modelos. El conjunto de datos se distribuye incluso en un archivo protegido con contraseña.
¿Una buena puntuación en GPQA convierte a la IA en una experta científica?
No. Muestra que elige a menudo la respuesta correcta entre cuatro opciones en esas preguntas concretas. Investigar, diseñar un experimento o detectar una pregunta mal planteada son otras competencias que GPQA no mide.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.