FRENES

Glosario · Medir y comparar

Índice de capacidades de Epoch AI

El índice de capacidades de Epoch AI es una medida compuesta que reúne resultados de varios benchmarks para comparar modelos de IA. Conocido como ECI, estima una capacidad general a partir de esas evaluaciones, sin expresar directamente el porcentaje de tareas que resolverá en su actividad.

Índice de capacidades de Epoch AI: la explicación

El ECI conecta benchmarks mediante modelos evaluados en varios de ellos. Estos resultados compartidos permiten estimar estadísticamente la dificultad relativa de las pruebas y situar los modelos en una escala común. No consiste simplemente en promediar porcentajes publicados. Un resultado en una prueba difícil puede aportar información diferente de otro obtenido en una prueba sencilla. La [presentación oficial del ECI](https://epoch.ai/data/eci-documentation) explica cómo se aprovechan esas coincidencias entre evaluaciones para comparar modelos con historiales de pruebas que no son idénticos.

El índice permite seguir capacidades cuando las evaluaciones disponibles cambian o algunas pruebas dejan de distinguir bien entre sistemas. Los modelos recientes pueden resolver casi todas las tareas de un benchmark antiguo y seguir encontrando difícil uno nuevo. Una escala compartida intenta relacionar ambas observaciones. Para usted, ofrece una referencia general antes de revisar datos más detallados. Esa referencia describe las capacidades representadas en las evaluaciones disponibles, no todas las cualidades que pueden hacer útil a un asistente en su actividad.

Los valores del ECI pertenecen a una escala estadística convencional. No son porcentajes universales de éxito ni mediciones directas de productividad. Las estimaciones pueden cambiar cuando se añaden modelos o resultados al cálculo. Además, el índice conserva limitaciones de las pruebas utilizadas, como diferencias de procedimiento y posibles contaminaciones. Un modelo especializado puede funcionar muy bien en su ámbito sin alcanzar la mejor posición general. Conviene revisar resultados pertinentes y condiciones prácticas antes de convertir el índice en una decisión.

Un ejemplo concreto

Usted compara modelos para un asistente que resumirá documentos y contestará preguntas. Un ECI superior ofrece una primera señal favorable sobre las capacidades generales de uno de ellos. Después revisa los idiomas disponibles y prueba documentos representativos. Otro modelo puede ajustarse mejor a su presupuesto o al tiempo de respuesta necesario. El índice ayuda a ordenar la comparación, pero no predice toda la experiencia de utilizar el asistente.

Por qué importa

El ECI facilita comparaciones entre modelos evaluados con colecciones de pruebas diferentes. Conserve la fecha de consulta, porque las estimaciones pueden revisarse al incorporarse nuevos datos. Para elegir un agente, examine también sus herramientas, permisos y ejecución real. El índice no describe por sí solo la privacidad, el precio, la consistencia de las respuestas ni la calidad de la interfaz. Es una referencia dentro de una evaluación más amplia.

Ideas equivocadas

  • Un valor del ECI no indica el porcentaje de sus tareas que resolverá un modelo, porque sitúa observaciones de benchmarks en una escala estadística común, en lugar de medir un conjunto universal de solicitudes cotidianas.
  • Combinar benchmarks no elimina sus limitaciones originales, porque los datos incompletos, los procedimientos diferentes y la posible exposición previa a las preguntas todavía pueden influir en las estimaciones utilizadas para comparar las capacidades de los modelos.

Otros términos: medir y comparar

benchmark
Benchmark es una prueba organizada con reglas definidas para comparar el rendimiento de distintos sistemas.
SWE-bench
SWE-bench es un benchmark que evalúa la resolución de problemas de software procedentes de proyectos reales.
GPQA Diamond
GPQA Diamond es un subconjunto seleccionado de GPQA que contiene preguntas científicas difíciles de opción múltiple.
FrontierMath
FrontierMath es un benchmark de matemáticas avanzadas desarrollado por Epoch AI con especialistas del ámbito matemático.
OSWorld
OSWorld es una familia de benchmarks y entornos para evaluar agentes que realizan tareas en ordenadores.
Terminal-Bench
Terminal-Bench es un conjunto de pruebas que mide la capacidad de un agente de IA para completar tareas mediante una terminal, una interfaz que recibe comandos escritos.
SimpleQA
SimpleQA es un benchmark que evalúa la exactitud de un modelo de lenguaje al responder preguntas factuales breves.
AIME (benchmark)
AIME (benchmark) designa el uso de problemas del American Invitational Mathematics Examination para evaluar modelos de lenguaje.

Dónde lo trata este sitio

El término aparece en 9 páginas del sitio. Algunas:

Para ir más lejos

Preguntas frecuentes

¿Es una media de puntuaciones?

No es una media aritmética convencional. El ECI utiliza coincidencias entre evaluaciones para estimar una escala común de capacidad y dificultad. Por eso, distintas observaciones pueden aportar cantidades diferentes de información al valor final del modelo.

¿Por qué puede cambiar un valor?

El cálculo relaciona el conjunto de observaciones disponibles. Añadir modelos o resultados puede modificar las estimaciones aunque un modelo concreto no se haya evaluado de nuevo. Conserve la fecha y la versión de los datos que compare.

¿Basta para elegir un agente?

No. Resume capacidades del modelo representadas en benchmarks. Un agente también depende de sus herramientas, instrucciones y límites de acción. Pruebe su escenario real y compare los costes, los tiempos de respuesta y los controles disponibles.

Neutralidad. Ningún enlace de afiliación. Ningún editor paga por ser evaluado, puntuado o clasificado. Las evaluaciones las dirige François Chollet, neutrales y factuales, y cada dato está fechado y con su fuente. Cómo puntuamos