Benchmark LLM: cómo interpretar las clasificaciones de modelos

Un benchmark LLM mide una capacidad concreta bajo unas condiciones concretas: no indica si un modelo es «inteligente» ni si se adapta a sus necesidades. Para interpretar una clasificación, compruebe cuatro aspectos: qué mide la prueba, si ya está saturada, si la diferencia entre dos modelos supera el margen de error y cuánto cuesta cada punto adicional. Las cifras de este artículo proceden de los datos de Epoch AI y de los precios de OpenRouter, consultados el 24 de octubre de 2026.

Qué mide un benchmark y qué queda fuera

Un benchmark es un conjunto de preguntas o tareas cuya respuesta correcta se conoce y que se presenta a cada modelo en las mismas condiciones. La puntuación indica la proporción de aciertos.

Todos los benchmarks comparten tres limitaciones:

• Una capacidad específica. Una prueba de matemáticas de competición no dice nada sobre la capacidad para modificar un repositorio de código o seguir una instrucción de trabajo a lo largo de 40 pasos.
• Unas condiciones fijas. El número de intentos, el tiempo de razonamiento permitido y el acceso a herramientas influyen en el resultado: cambiar uno solo de estos ajustes puede mover la puntuación varios puntos.
• La contaminación. Cuando las preguntas circulan por la web, pueden acabar en los datos de entrenamiento. En ese caso, el modelo recuerda la respuesta en lugar de resolver el problema. Por eso, varios benchmarks recientes mantienen parte de sus preguntas en privado, como FrontierMath.

Los benchmarks que encontrará con más frecuencia

La siguiente tabla recoge los benchmarks que aparecen en nuestras fichas de modelos, junto con el número de modelos evaluados en los datos de Epoch AI a fecha del 24 de octubre de 2026.

Benchmark	Qué mide	Modelos evaluados	Mejor puntuación registrada
GPQA Diamond	Preguntas de ciencias de nivel doctoral con opción múltiple (4 respuestas)	124	96,4 %
OTIS Mock AIME 2024-2025	Problemas de matemáticas de competición	124	100 %
FrontierMath (niveles 1-3)	Problemas de matemáticas de investigación, con preguntas privadas	85	93,7 %
SimpleQA Verified	Exactitud en preguntas factuales breves	80	76 %
ARC-AGI-1	Problemas visuales de razonamiento abstracto	73	98,5 %
ARC-AGI-2	Versión más difícil de ARC-AGI	73	95 %
Terminal-Bench	Tareas reales en una terminal	37	84,7 %
SWE-bench Verified	Resolución de incidencias reales de GitHub en proyectos Python	28	83,5 %
Aider Polyglot	Ejercicios de programación en seis lenguajes	25	88 %
OSWorld	Uso de un ordenador (aplicaciones, archivos)	6	72,1 %

Fuentes: GPQA, SWE-bench, Terminal-Bench, OSWorld, Aider, ARC-AGI. El benchmark LLM del laboratorio permite ordenar y filtrar estas puntuaciones para comparar los modelos.

Esta tabla requiere dos observaciones. Primero, los benchmarks más cercanos al uso real de un agente (SWE-bench Verified, Terminal-Bench, OSWorld) también son los que tienen menos modelos evaluados: la comparación resulta más incompleta. Segundo, ARC-AGI ocupa un lugar particular: está diseñado para medir la capacidad de resolver problemas nunca vistos, más que los conocimientos adquiridos. Lo explicamos en detalle en ARC-AGI: el benchmark, sus versiones y sus puntuaciones.

Primer error: pasar por alto la saturación

Un benchmark está saturado cuando la mayoría de los modelos recientes obtiene una puntuación cercana al máximo. En ese punto, deja de servir para distinguirlos.

En los datos consultados:

• en GPQA Diamond, 77 de los 124 modelos evaluados superan el 80 % y la mediana de las puntuaciones es del 85,3 %;
• en OTIS Mock AIME, 79 de los 124 modelos superan el 80 % y varios alcanzan el 100 %;
• en cambio, en SimpleQA Verified, ninguno de los 80 modelos evaluados llega al 80 % (mejor puntuación: 76 %).

En la práctica, una diferencia de dos puntos en GPQA Diamond entre dos modelos de primer nivel dice muy poco. Esa misma diferencia en un benchmark lejos de la saturación aporta más información. Antes de comparar resultados, observe en qué nivel se sitúan las puntuaciones de los modelos en esa prueba.

Segundo error: ignorar el margen de error

Cada puntuación es una estimación sujeta a incertidumbre. Una clasificación ordenada por décimas de punto puede ocultar empates.

El Epoch Capabilities Index (ECI), que combina numerosos benchmarks en una sola escala de «capacidad general», publica este intervalo. A fecha del 24 de octubre de 2026, los tres primeros modelos son:

Modelo	ECI	Intervalo
Claude Opus 5.5	168,8	165,3 – 174,0
GPT-6 Astra	168,8	165,5 – 174,5
GPT-6.1 Sol	168,4	165,0 – 174,4

Los intervalos se solapan casi por completo: estos tres modelos están empatados en este índice. Cualquier titular que anuncie que «el modelo X destrona al modelo Y» a partir de una diferencia así afirma más de lo que permiten los datos.

Como regla práctica, si la diferencia entre dos modelos es menor que la amplitud de sus intervalos, considérelos equivalentes. Para decidir entre ellos, compare otros aspectos: precio, velocidad, ventana de contexto o licencia.

Tercer error: olvidarse del precio

Con una capacidad equivalente, los precios pueden variar por un factor de cinco o más. Según los precios de OpenRouter consultados el 24 de octubre de 2026:

• GPT-6 Astra cuesta 10 $ por millón de tokens de entrada y 50 $ por millón de tokens de salida;
• GPT-6.1 Sol, con el mismo nivel de ECI, cuesta 2 $ y 10 $;
• Claude Haiku 5.5, con un ECI de 159,3, cuesta 0,10 $ y 0,50 $.

En un agente, que consulta al modelo decenas de veces por tarea, esta diferencia pesa mucho en la factura mensual. Cada ficha sitúa el modelo en un gráfico de precio / puntuación frente a los demás, y la calculadora de precios LLM convierte estas tarifas en un costo mensual según su volumen de uso. Las tarifas cambian: consulte la ficha, que se actualiza con cada revisión de precios, para conocer el importe vigente.

Cuarto error: tomar como referencia la puntuación del proveedor

Los proveedores publican sus propias puntuaciones cuando lanzan un modelo. Son útiles, pero forman parte del anuncio:

• el proveedor selecciona los benchmarks en los que su modelo queda bien situado;
• elige las condiciones de evaluación (número de intentos, razonamiento máximo, herramientas);
• a menudo lo compara con versiones antiguas de los modelos de la competencia.

Las evaluaciones independientes (Epoch AI, el ARC Prize o las clasificaciones que mantienen los autores de los benchmarks) ofrecen resultados más comparables entre sí. Compruebe también la fecha: una puntuación de hace seis meses suele incluir comparaciones con modelos que ya han sido sustituidos.

Los benchmarks de agentes: más cercanos al uso real, aún recientes

Para elegir el modelo de un agente de IA, las pruebas que requieren varios pasos y el uso de herramientas son las más informativas:

• SWE-bench Verified: el modelo recibe una incidencia real y un repositorio de código, y debe generar una corrección que supere las pruebas;
• Terminal-Bench: tareas que se deben completar en una terminal, como instalar, configurar o depurar;
• OSWorld: tareas en un sistema operativo real, con ratón, teclado y aplicaciones.

Su limitación es que la puntuación depende tanto del agente (sus herramientas, su ciclo de ejecución y sus instrucciones) como del modelo. Un mismo modelo puede ganar o perder varios puntos según las herramientas que tenga disponibles. Por eso, nuestras fichas de agentes de IA evalúan los propios agentes —actividad, licencia, modelos compatibles y riesgos— y complementan las fichas de modelos.

Un método basado en cinco preguntas

Antes de sacar una conclusión de una clasificación:

1. ¿Qué mide esta prueba y hasta qué punto se parece a mi tarea?
2. ¿Está saturada? ¿Dónde se sitúa la mediana de los modelos?
3. ¿La diferencia supera el margen de error?
4. ¿Quién hizo la evaluación, en qué condiciones y cuándo?
5. ¿Cuánto cuesta la diferencia? ¿La mejora justifica el costo adicional con mi volumen de uso?

Si la decisión sigue ajustada, la prueba más fiable sigue siendo la suya: unos veinte ejemplos reales de su tarea, presentados a los dos o tres modelos seleccionados y evaluados con unos criterios de puntuación escritos de antemano. La guía Elegir un modelo LLM para su agente detalla este método, y El LLM más barato para cada uso aplica el criterio del precio.

Puntos clave

• Un benchmark mide una capacidad específica bajo unas condiciones fijas, no la inteligencia general.
• Las pruebas saturadas (GPQA Diamond, AIME) ya no permiten distinguir entre los modelos de primer nivel.
• Una diferencia inferior al margen de error equivale a un empate: en octubre de 2026, es el caso de los tres primeros modelos del ECI.
• Con una capacidad equivalente, el precio puede variar por un factor de cinco: compare siempre el costo por tarea.
• Para profundizar en la cuestión de cómo medir una inteligencia general, consulte ¿Qué es la AGI?.

Preguntas frecuentes

¿Cuál es el mejor benchmark para comparar LLM?

Ninguno basta por sí solo. Un índice compuesto como el Epoch Capabilities Index ofrece una visión general; un benchmark cercano a su tarea (SWE-bench Verified para programación, OSWorld para el uso de un ordenador, SimpleQA Verified para la exactitud factual) aporta más información sobre su caso. Lo ideal sigue siendo una pequeña prueba con ejemplos propios.

¿Por qué dos clasificaciones ofrecen resultados distintos?

No miden lo mismo ni utilizan las mismas condiciones: cambian las preguntas, el número de intentos permitidos, el ajuste del razonamiento, las herramientas disponibles o la versión exacta del modelo. Una diferencia de unos pocos puntos entre dos clasificaciones es normal y, a menudo, queda dentro del margen de error.

¿Son fiables las puntuaciones que publican los proveedores?

Son útiles, pero conviene tratarlas como un anuncio: el proveedor elige los benchmarks en los que destaca su modelo y las condiciones de las pruebas. Para comparar, es preferible acudir a evaluaciones independientes, como las de Epoch AI o el ARC Prize, y comprobar su fecha.

¿Una puntuación del 90 % significa que el modelo falla una de cada diez veces?

Solo en las preguntas de ese benchmark y bajo sus condiciones de evaluación. En sus propias tareas, la tasa de error puede ser muy distinta: menor en tareas sencillas y mucho mayor en temas que el benchmark no cubre o en tareas largas con varios pasos.