Nivel : Intermedio
Entender los benchmarks de IA y sus trampas
Por La redacción de Info Agent IA ·
Un benchmark de IA es una prueba estandarizada que puntúa a los modelos en una habilidad concreta: razonamiento científico, matemáticas, programación o tareas de agente. Bien leídas, estas pruebas ayudan a comparar modelos. Mal leídas, confunden, porque cada una tiene sus puntos ciegos.
¿Para qué sirve un benchmark?
Un benchmark es una serie de preguntas o tareas siempre idénticas, con una regla de puntuación fija. Varios modelos lo realizan en las mismas condiciones y así se obtienen puntuaciones comparables. Es como un examen común: sirve para situar a los candidatos, pero no recoge todo lo que saben hacer.
Nuestra clasificación de modelos de IA se basa en los datos del instituto de investigación Epoch AI, publicados con licencia CC BY 4.0. Esta es la parte alta de la tabla a 22 de octubre de 2026.
| Puesto | Modelo | Organización | Índice |
|---|---|---|---|
| 1 | Claude Sonnet 5.5 | Anthropic | 95,9 |
| 2 | Claude Opus 5.5 | Anthropic | 95,9 |
| 3 | Gemini 4 Argon | Google DeepMind | 95,3 |
| 4 | GPT-6 Astra | OpenAI | 94,7 |
| 5 | Claude Opus 5 | Anthropic | 92,7 |
| 6 | Claude Fable 5.1 | Anthropic | 92,6 |
| 7 | GPT-6.1 Sol | OpenAI | 92,1 |
| 8 | Claude Fable 5 | Anthropic | 90,8 |
| 9 | GPT-6 Sol | OpenAI | 89,2 |
| 10 | GPT-5.5 | OpenAI | 89 |
Las 7 pruebas de la clasificación
La clasificación utiliza una cesta de 7 benchmarks. Las descripciones siguientes proceden de las páginas oficiales de Epoch AI, consultadas el 22 de octubre de 2026 (epoch.ai/benchmarks).
| Benchmark | Qué mide | Tamaño | ¿Preguntas públicas? |
|---|---|---|---|
| GPQA Diamond | Preguntas de ciencias de nivel doctorado, con 4 opciones | 198 preguntas | No publicadas en abierto |
| OTIS Mock AIME 2024-2025 | Problemas de matemáticas de competición, respuesta de 000 a 999 | 45 problemas | No especificado por el editor |
| FrontierMath | Matemáticas de investigación, problemas inéditos | Varios cientos | En su mayoría, no |
| SWE-bench Verified | Corregir errores reales en proyectos de Python | 500 tareas | Sí |
| FrontierCode | Escribir un parche lo bastante bueno para integrarse | 150 tareas | Incidencias públicas |
| Terminal-Bench 2.0 | Realizar tareas en un terminal | No especificado por el editor | No especificado por el editor |
| APEX-Agents | Tareas profesionales largas entre varias aplicaciones | 480 tareas | No especificado por el editor |
Algunos detalles útiles:
- GPQA Diamond (página de Epoch AI): 198 preguntas de opción múltiple de biología, física y química. Responder al azar da un 25 %, que marca el suelo.
- OTIS Mock AIME (página de Epoch AI): 45 problemas escritos por alumnos de un programa de preparación para olimpiadas, más difíciles que los ejercicios escolares y más fáciles que FrontierMath.
- FrontierMath (página de Epoch AI): problemas inéditos escritos por matemáticos en cuatro niveles, a los que se suman problemas abiertos de investigación.
- SWE-bench Verified: 500 tareas revisadas por personas, extraídas de incidencias reales de proyectos de código abierto en Python.
- FrontierCode (página de Epoch AI): creado por Cognition, juzga si el parche de un agente sería aceptado por los responsables del proyecto: comportamiento corregido, sin regresiones y respetando el estilo y las convenciones.
- Terminal-Bench (página de Epoch AI): tareas que se realizan en un terminal, como haría un desarrollador o un administrador de sistemas.
- APEX-Agents (página de Epoch AI): creado por Mercor, 480 tareas repartidas a partes iguales entre banca de inversión, consultoría de gestión y derecho mercantil. Según Epoch AI, un profesional tardaría de media 1,8 horas en cada una.
¿Cómo se calcula el índice?
Las puntuaciones brutas no se pueden comparar entre pruebas: un 60 % en FrontierMath vale mucho más que un 60 % en GPQA. Por eso nuestra metodología las normaliza prueba a prueba. En cada benchmark, el mejor modelo evaluado recibe 100 y el peor 0, y los demás quedan entre ambos. El índice es la media de esas puntuaciones normalizadas y solo se calcula para los modelos evaluados en al menos 4 de las 7 pruebas.
Esto tiene dos consecuencias prácticas. Primero, el índice es relativo: cuando un modelo nuevo bate el récord de una prueba, las puntuaciones normalizadas de los demás bajan, aunque sus resultados brutos no hayan cambiado. Por eso un modelo antiguo puede perder puntos con los meses. Segundo, dos modelos que no han realizado exactamente las mismas pruebas se comparan sobre bases algo distintas.
Las trampas que conviene conocer
La contaminación
Los modelos aprenden de enormes cantidades de texto recogido en la web. Si las preguntas de una prueba y sus respuestas están ahí, un modelo puede acertar por memoria y no por razonamiento: eso es la contaminación. El riesgo es mayor en las pruebas públicas y antiguas: SWE-bench y FrontierCode, por ejemplo, se basan en incidencias públicas de proyectos de código abierto. En cambio, FrontierMath mantiene en secreto la mayor parte de sus problemas, y los autores de GPQA piden no publicar ejemplos en abierto en la web y distribuyen el conjunto de datos en un archivo protegido con contraseña.
La saturación
Una prueba deja de ser útil cuando todos los buenos modelos rozan el máximo. Según Epoch AI, la mejor puntuación en GPQA Diamond pasó del 35,7 % (GPT-4) en el primer trimestre de 2023 al 76,8 % (o1) a finales de 2024, y después al 92,6 % (Gemini 3 Pro) a finales de 2025 y al 96,4 % (Gemini 4 Argon) en el tercer trimestre de 2026. A ese nivel, las diferencias entre los primeros se estrechan y la prueba ya no los distingue bien. Por eso aparecen regularmente benchmarks nuevos y más difíciles.
El ruido de las pruebas pequeñas
Con 45 problemas, cada respuesta acertada o fallada mueve la puntuación unos 2,2 puntos. Con 198 preguntas, alrededor de medio punto. Una diferencia de uno o dos puntos entre dos modelos puede deberse, por tanto, al azar. Epoch AI repite las ejecuciones para suavizar ese ruido, pero nunca desaparece.
Las condiciones de prueba
Una puntuación depende de cómo se consulta al modelo: la instrucción, el número de intentos, los ajustes y el tiempo de reflexión que se concede a los modelos de razonamiento. Epoch AI indica que usa un prompt de sistema vacío y los ajustes por defecto de las API. En Terminal-Bench la cuestión es aún más clara: la puntuación depende de la pareja formada por modelo y agente, porque la herramienta que dirige el modelo cambia el resultado. Según Epoch AI, solo se conserva la mejor combinación para cada modelo, entre agentes como Claude Code, Codex CLI, Terminus o Goose.
El modelo juez
Algunas pruebas no se pueden corregir automáticamente. APEX-Agents puntúa cada tarea con una rúbrica de expertos que aplica otro modelo: es el principio del LLM como juez. Resulta práctico a gran escala, pero hereda los sesgos del modelo corrector.
La distancia con su uso real
Ninguna de las 7 pruebas mide la calidad de un correo, un resumen o una traducción al español. Un modelo muy bien clasificado en matemáticas puede resultar menos cómodo en el día a día que otro más modesto. Para los agentes, nuestra guía sobre cómo evaluar un agente de IA propone un método con sus propias tareas.
Lo que dicen los benchmarks sobre el precio
Los benchmarks también permiten seguir el coste del rendimiento. Según Epoch AI, el precio más bajo de un modelo que alcanzaba el 70 % en GPQA Diamond era de 26,25 dólares por millón de tokens a finales de 2024, con o1. En el tercer trimestre de 2026 baja a 0,055 dólares, con Qwen3.7 Flash. Un nivel antes reservado a los modelos más caros está hoy disponible por una fracción del precio, aunque eso no convierte al modelo barato en un rival de los punteros en todo lo demás.
Cinco hábitos para leer una clasificación
- Mire qué pruebas cuentan. Un índice global mezcla habilidades. Si usted programa, las columnas de SWE-bench y FrontierCode le dicen más que GPQA.
- No sobreinterprete las diferencias pequeñas. Uno o dos puntos en lo alto de la tabla pueden ser ruido.
- Compruebe la fecha. Las clasificaciones envejecen rápido: un modelo lanzado la semana pasada puede cambiarlo todo.
- Compare en igualdad de condiciones. Mezclar puntuaciones de fuentes distintas falsea la comparación.
- Pruebe usted mismo. La puntuación que más importa es la que obtiene el modelo con sus tareas.
Póngase a prueba Un modelo saca 2 puntos más que otro en una prueba de 45 problemas. ¿Es claramente mejor?
No. Con 45 problemas, una sola respuesta correcta más vale unos 2,2 puntos, así que la diferencia puede deberse al azar de una ejecución. Fíjese mejor en el conjunto de pruebas y en las diferencias claras.
Las clasificaciones también influyen en el panorama económico, porque afectan a la imagen de los fabricantes, como muestra nuestra guía ¿quién fabrica las IA?. Ayudan a situar la IA europea frente a los modelos estadounidenses y chinos, y a comparar modelos abiertos y cerrados, tema de nuestro artículo IA open source o propietaria. Por último, la evaluación de los modelos más potentes forma parte de las obligaciones del reglamento europeo, explicado en nuestro resumen de la Ley de IA.
Preguntas frecuentes
¿Qué es un benchmark de IA?
Es una prueba estandarizada: una serie fija de preguntas o tareas con una forma fija de puntuar las respuestas. Varios modelos la realizan en las mismas condiciones para poder compararlos. Un benchmark mide una habilidad concreta, nunca la calidad de una IA en general.
¿Qué es la contaminación de un benchmark?
Hay contaminación cuando las preguntas de una prueba, o sus respuestas, acaban en los datos de entrenamiento de un modelo. El modelo puede entonces acertar por memoria y no por razonamiento, lo que infla su puntuación. Las pruebas que mantienen sus preguntas en secreto reducen ese riesgo.
¿El primer modelo de la clasificación es el más adecuado para mí?
No necesariamente. La clasificación combina pruebas de ciencias, matemáticas, programación y agentes. Si usted redacta correos o resume documentos, un modelo peor clasificado, más rápido o más barato, puede servirle perfectamente. Lo mejor es probar dos o tres modelos con sus propias tareas.
¿Por qué cambian las puntuaciones de una fuente a otra?
Porque las condiciones de prueba varían: instrucciones, número de intentos, ajustes del modelo, herramientas permitidas y versión del benchmark. En las pruebas de agentes también influye la herramienta que dirige el modelo. Compare, por tanto, puntuaciones de una misma fuente, medidas del mismo modo.