Benchmark: cómo se comparan los modelos de IA
Un benchmark es una prueba estandarizada: el mismo conjunto de preguntas o tareas, puntuado de la misma manera, que se aplica a varios modelos para comparar sus resultados. De ahí salen la mayoría de las puntuaciones y los rankings de IA que circulan.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|
Qué significa
La palabra viene del inglés y designa un punto de referencia. En IA, un benchmark es un conjunto fijo de pruebas con una regla de puntuación: preguntas tipo test, problemas de programación, tareas que realizar en un ordenador… Como cada modelo hace el mismo examen, sus puntuaciones se pueden comparar.
Un ejemplo concreto
Uno de los benchmarks más citados de los últimos años es MMLU, presentado en 2020 en el artículo «Measuring Massive Multitask Language Understanding» (Hendrycks et al.). Abarca 57 materias, desde matemáticas elementales hasta derecho o historia, en forma de preguntas tipo test. Otros benchmarks apuntan a habilidades más prácticas: SWE-bench comprueba si un modelo corrige errores reales en proyectos de software y GPQA plantea preguntas científicas muy difíciles, pensadas para no poder resolverse con una simple búsqueda web.
Por qué importa
Sin benchmarks, cada fabricante podría afirmar que su modelo es «el mejor» sin forma de comprobarlo. Los benchmarks aportan un lenguaje común para seguir los avances, detectar los puntos fuertes de un modelo y elegir el adecuado para cada tarea. En el caso de los agentes de IA, existen pruebas específicas que miden la capacidad de encadenar acciones: es el terreno de la evaluación de agentes.
En este sitio, la página sobre criterios y fuentes explica de dónde vienen las puntuaciones que se muestran y cómo se combinan, y el ranking de IA las pone en contexto cada semana.
Trampas de lectura
- La contaminación. Si las preguntas de un benchmark acaban en los datos de entrenamiento de un modelo, este puede «saberse las respuestas» sin razonar de verdad.
- La saturación. Cuando los mejores modelos rozan la puntuación máxima, la prueba ya no los distingue y la sustituyen benchmarks nuevos y más difíciles.
- Las condiciones de prueba. Una puntuación lograda con varios intentos, herramientas o una instrucción optimizada no es comparable con otra obtenida en un solo intento.
- La distancia con el uso real. Un benchmark mide una tarea estrecha. Su experiencia diaria depende también de la velocidad, el precio, el estilo y la fiabilidad con sus propias peticiones.
Términos relacionados
Cuando una respuesta no puede puntuarse automáticamente, algunos protocolos piden a otro modelo que la evalúe: es el principio del LLM como juez, práctico pero imperfecto.
Términos relacionados
- Evaluación de agentes · Métodos para medir si un agente de IA completa de verdad una tarea de principio a fin, de forma fiable, segura y a un coste razonable.
- SWE-bench · Benchmark que pide a una IA resolver incidencias reales de GitHub en proyectos Python; cada corrección se valida con los tests del proyecto.
- GPQA · Benchmark de preguntas de opción múltiple de nivel doctorado en biología, física y química, pensadas para resistir una búsqueda web.
- Terminal-Bench · Benchmark que mide si un agente de IA es capaz de completar por sí solo tareas reales y difíciles en una terminal de línea de comandos.
- LLM como juez (LLM-as-a-judge) · Método de evaluación en el que un modelo de lenguaje puntúa o compara las respuestas de otro modelo según una rúbrica, en lugar de un humano.
Para probar
Todo el glosario
Preguntas frecuentes
¿Una puntuación más alta significa una IA mejor para mí?
No necesariamente. Un benchmark mide una habilidad concreta en condiciones concretas. Si usted redacta principalmente correos, una nota excelente en matemáticas avanzadas le dice poco: fíjese en los benchmarks cercanos a sus tareas.
¿Quién crea los benchmarks?
Principalmente investigadores universitarios, laboratorios de IA y organismos independientes, que suelen publicar las preguntas y el sistema de puntuación. Después, los fabricantes eligen qué benchmarks destacan en sus anuncios.
¿Por qué las puntuaciones varían a veces según la fuente?
Las condiciones de prueba cambian: redacción de las instrucciones, número de intentos, acceso a herramientas, ajustes del modelo. Una evaluación de un organismo independiente con protocolo público es más comparable que una cifra aislada en un comunicado.
¿Cómo usa este sitio los benchmarks?
El sitio recoge puntuaciones publicadas por fuentes públicas identificadas y explica su enfoque en la página dedicada a sus criterios y fuentes. El ranking semanal se basa en esos datos sin pretender medir la experiencia de cada usuario.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.