Dossier AGI · Intermedio · 10 min
Medir los avances hacia la AGI: benchmarks, límites, saturación y contaminación
Los benchmarks miden capacidades concretas, no cuánto falta para la AGI. Conozca sus límites, la saturación y la contaminación para interpretar los resultados.
Los benchmarks miden el éxito de los sistemas de IA en pruebas definidas; no indican directamente cuánto falta para alcanzar la AGI. Para interpretar un avance, debe examinar las tareas, las condiciones de evaluación, los recursos utilizados y las posibles vías de contaminación. Una medición creíble combina varias pruebas con un análisis de la generalización, los errores y el costo.
Definir qué se quiere medir
Un benchmark reúne un conjunto de tareas, un procedimiento de evaluación y una regla de puntuación. Su resultado responde a una pregunta concreta: con esta configuración, ¿qué rendimiento obtiene el sistema en estas pruebas? Pasar de esa observación a una afirmación sobre la inteligencia general exige argumentos adicionales.
Conviene distinguir entre las competencias adquiridas, la amplitud de esas competencias y la capacidad de adquirir otras nuevas. Responder a una pregunta científica requiere conocimientos; descubrir las reglas de un entorno desconocido exige adaptación. Un sistema puede avanzar en la primera dimensión sin mejorar en la misma medida en la segunda.
La fiabilidad constituye otra dimensión distinta. Obtener una solución correcta después de muchos intentos no describe el mismo comportamiento que lograr un resultado reproducible sin ayuda. En una aplicación concreta también cuentan el tiempo necesario, las intervenciones humanas y las consecuencias de los fallos.
Por eso, antes de consultar una clasificación, formule la afirmación que quiere comprobar. Puede buscar un mejor asistente documental, un sistema capaz de aprender una regla nueva o un agente autónomo que complete tareas largas. El apartado de AGI e investigación distingue estas cuestiones, que no pueden reducirse a una única escala.
Las definiciones de inteligencia orientan las pruebas
En On the Measure of Intelligence, publicado en noviembre de 2019, François Chollet propone medir la inteligencia a partir de la eficiencia con la que se adquieren competencias, teniendo en cuenta los conocimientos previos, la experiencia y la dificultad de generalización. Su crítica se centra en equiparar el dominio de una tarea con la inteligencia: más entrenamiento puede mejorar ese dominio sin demostrar, por sí solo, una mayor capacidad de adaptación.
Esta perspectiva lleva a examinar qué sabía el sistema antes de la prueba y qué debe descubrir durante ella. No significa que los conocimientos carezcan de utilidad. Exige distinguir su contribución de la que aporta el aprendizaje ante situaciones nuevas.
Otros marcos dan prioridad a describir capacidades observables. En Levels of AGI for Operationalizing Progress on the Path to AGI, Meredith Ringel Morris y sus coautores distinguen, entre otros aspectos, el nivel de rendimiento y la amplitud de las capacidades, y después analizan su relación con la autonomía. Por tanto, un rendimiento alto en un ámbito limitado no basta para caracterizar la generalidad.
Estos enfoques ponen el acento en aspectos diferentes: uno destaca la eficiencia de adquisición; el otro organiza los niveles de capacidad. No ofrecen una conversión común entre puntuación y AGI. La página sobre generalización profundiza en esta diferencia, esencial para entender por qué los investigadores eligen pruebas distintas.
Familias de pruebas y sus puntos ciegos
Un conjunto de pruebas debe cubrir capacidades complementarias. La siguiente tabla describe familias de pruebas, sin establecer una clasificación: el alcance de cada resultado depende siempre del protocolo concreto.
| Familia de pruebas | Qué se observa | Principal ventaja | Limitación que debe examinarse |
|---|---|---|---|
| Preguntas de conocimientos | Respuestas a preguntas definidas | Corrección estandarizable | Dificultad para separar conocimientos y adaptación |
| Problemas con solución verificable | Resultado matemático, lógico o informático | Verificación menos subjetiva | Representatividad de los problemas elegidos |
| Tareas de desarrollo de software | Modificación de un programa y posterior validación | Resultado ejecutable | Cobertura y calidad de las pruebas |
| Entornos interactivos | Acciones sucesivas y reacciones a las observaciones | Evaluación de la exploración | Dependencia de la interfaz y del presupuesto |
| Preferencias humanas | Elección entre varias respuestas | Medición de la utilidad percibida | Influencia del estilo y de los evaluadores |
| Aprendizaje de reglas nuevas | Éxito después de demostraciones o exploración | Observación de la adaptación | Definición de la novedad y de los conocimientos previos |
No es necesario combinar siempre estas familias en una sola puntuación. Un promedio puede ocultar una carencia importante: un agente competente en programación puede seguir teniendo dificultades para comprender una petición ambigua o reconocer que falta información.
La selección de tareas también refleja una determinada concepción del uso. Las preguntas escolares, la reparación de software y las interacciones con una computadora no representan las mismas actividades. La dificultad por sí sola no garantiza que una prueba aporte información sobre la inteligencia general.
Para interpretar una clasificación destinada a elegir un modelo, el artículo Benchmarks de LLM: cómo interpretar las clasificaciones complementa esta perspectiva. Aquí la cuestión es más amplia: determinar qué permite afirmar cada resultado sobre las capacidades del sistema.
Qué aporta ARC-AGI a la medición
La presentación oficial de la serie ARC-AGI vincula sus pruebas con la adquisición de competencias en tareas desconocidas. Destaca la diferencia entre una competencia especializada y la capacidad de generalización. Esta orientación la convierte en una referencia para estudiar la adaptación, más allá de un simple inventario de conocimientos.
Por ejemplo, en una tarea de transformación de cuadrículas, el sistema debe encontrar una regla compatible con las demostraciones y aplicarla a una nueva entrada. La dificultad relevante no reside solo en el cálculo: también hay que elegir una representación y decidir entre distintas hipótesis.
Sin embargo, la interpretación depende de la experiencia previa. Resolver una tarea nunca vista no equivale a descubrir una familia de problemas desconocida. El entrenamiento con tareas relacionadas, los datos sintéticos o los procedimientos especializados de búsqueda pueden contribuir al resultado; su presencia debe documentarse.
Una puntuación en ARC-AGI no mide, por sí sola, todas las capacidades lingüísticas, sociales, físicas o profesionales. Tampoco basta para demostrar la autonomía operativa de un agente. La página de referencia sobre ARC-AGI detalla las pruebas y sus protocolos.
Una interpretación adecuada relaciona cada acierto con el mecanismo que lo hizo posible y con sus condiciones. Conviene examinar si el sistema descubre una regla con poca información, cuánto esfuerzo de búsqueda necesita y si el método conserva su eficacia cuando cambia la presentación o la familia de tareas.
Saturación: cuando la puntuación distingue peor entre sistemas
Un benchmark se satura cuando los resultados se acercan tanto al máximo que resulta difícil interpretar las diferencias. Los fallos que quedan pueden adquirir entonces un peso considerable en la clasificación, aunque reflejen una ambigüedad en la corrección o una particularidad del conjunto de evaluación.
La saturación no demuestra que exista contaminación. Una comunidad puede aprender a resolver una clase de problemas mediante avances que se transfieren a otras tareas. A la inversa, un benchmark puede seguir siendo difícil aunque haya aparecido en los datos de entrenamiento. Es necesario examinar ambos fenómenos por separado.
Una prueba próxima a su máximo puede seguir sirviendo para detectar retrocesos. Pierde utilidad para distinguir entre los sistemas de mayor rendimiento. Para recuperar información, se puede modificar la distribución de las tareas, exigir más fiabilidad o comparar los recursos necesarios para alcanzar un nivel de éxito similar.
Sin embargo, crear una prueba más difícil no basta. Una instrucción confusa o una corrección discutible aumenta los fallos sin mejorar la medición. Hay que comprobar que las dificultades añadidas correspondan a la capacidad que se pretende evaluar.
Por último, sustituir un benchmark rompe la continuidad de las puntuaciones. Un resultado inferior en una prueba nueva no indica necesariamente que el sistema haya empeorado. Para seguir los avances, mantenga evaluaciones comunes entre periodos y explique qué permite observar la nueva prueba.
Contaminación: exposición, memorización y optimización
La contaminación de los benchmarks compromete la separación entre los datos utilizados para aprender y los utilizados para evaluar. Puede proceder de datos publicados en la web, soluciones, traducciones o reformulaciones incorporadas al entrenamiento. No implica necesariamente una intención de engañar.
Conviene distinguir varias situaciones. El sistema puede haber visto una pregunta exacta junto con su respuesta, o haber encontrado únicamente una pregunta parecida. Los desarrolladores también pueden haber ajustado el sistema después de observar numerosos resultados en la misma prueba. Estos mecanismos no tienen los mismos efectos.
La exposición no demuestra automáticamente una memorización útil, y una respuesta correcta no demuestra que haya habido exposición. El problema práctico consiste en determinar si la puntuación sobreestima el rendimiento en tareas nuevas comparables.
En ConStat, publicado en mayo de 2024, Jasper Dekoninck, Mark Niklas Müller y Martin Vechev proponen estudiar esta sobreestimación comparando un benchmark con pruebas de referencia y considerando el comportamiento de otros modelos. Su enfoque se centra en el rendimiento que no se transfiere a pruebas comparables, en lugar de limitarse a buscar ejemplos presentes en un conjunto de datos.
Aun así, una caída del rendimiento después de reformular una pregunta requiere interpretación: la variante puede haber alterado la dificultad. Es necesario contrastar los indicios. Sin una auditoría completa, es preferible describir con precisión los controles realizados, los datos accesibles y las incertidumbres pendientes antes que emitir un veredicto absoluto.
Mantener pruebas nuevas sin perder reproducibilidad
Las pruebas públicas permiten examinar los errores, reproducir los cálculos y cuestionar la puntuación. Su publicación también facilita que se incorporen a futuros entrenamientos. Las pruebas privadas reducen esa exposición, pero limitan la auditoría independiente.
Una estrategia consiste en separar las funciones: un conjunto público para desarrollar métodos, otro reservado para comparar sistemas y tareas renovadas para comprobar la transferencia. Esta separación también debe aplicarse a las soluciones y a la información detallada que se comunica a los participantes sobre sus resultados.
Una prueba privada puede convertirse en una herramienta de desarrollo si se permiten envíos repetidos y se ofrece información demasiado precisa. Limitar los intentos, conservar un historial y reservar una evaluación final reduce ese riesgo. Por tanto, la confidencialidad por sí sola no garantiza la independencia.
Las tareas generadas automáticamente permiten renovar las pruebas, pero su cantidad no garantiza su diversidad. Un generador puede producir variantes superficiales de un mismo mecanismo. Hay que examinar las familias de reglas, las estrategias posibles y los atajos disponibles.
Para documentar estas decisiones, indique el periodo de creación, las condiciones de acceso, los controles de duplicados y la política de renovación. Un conjunto creado recientemente aporta un indicio de novedad; no demuestra que las ideas necesarias estuvieran ausentes de la experiencia del sistema.
Comparar el sistema completo y sus recursos
Un resultado atribuido a un modelo puede depender de toda una cadena: instrucciones, herramientas, memoria, búsqueda de soluciones, selección de respuestas y criterios de parada. Si estos elementos cambian, estará comparando sistemas diferentes, aunque el modelo subyacente siga siendo el mismo.
El sitio oficial de SWE-bench distingue varios conjuntos de pruebas y también presenta una comparación en la que los modelos utilizan un entorno común. Esta distinción ilustra la utilidad de separar la elección de las tareas de la arquitectura utilizada para ejecutarlas.
El número de intentos merece especial atención. El acierto en la primera respuesta, la presencia de una solución correcta entre varias propuestas y la capacidad del sistema para seleccionar esa solución son medidas diferentes. No debe confundirse la selección de un evaluador que conoce la respuesta con una selección autónoma del sistema.
La puntuación debe ir acompañada del presupuesto empleado: duración, consumo, llamadas a herramientas e intervenciones humanas. Aumentar los recursos puede mejorar los resultados; eso no resta interés al avance, pero sí modifica su alcance práctico.
Para comparar dos sistemas, solicite una curva que relacione recursos y rendimiento, en lugar de quedarse con el mejor resultado aislado. La guía para evaluar un agente de IA aplica esta lógica a los usos concretos, donde un resultado correcto que llega demasiado tarde o cuesta demasiado puede no resolver la necesidad.
Interpretar la incertidumbre y los errores detrás del promedio
Una puntuación agregada depende de las tareas seleccionadas. Si la mayoría procede de una misma familia, su cantidad puede dar una impresión engañosa de cobertura. Las variantes parecidas no constituyen otras tantas observaciones independientes de una capacidad general.
Al comparar sistemas, examine las mismas tareas y los casos en los que sus resultados difieren. Repita también las ejecuciones si el procedimiento incluye elementos aleatorios. Una diferencia mínima puede deberse al muestreo de las respuestas, a la selección de problemas o a las reglas de corrección.
El propio sistema de puntuación también debe examinarse. Una respuesta correcta puede recibir una penalización por su formato; una solución informática puede superar pruebas incompletas; una respuesta persuasiva puede convencer a un evaluador pese a contener un error. Revisar ejemplos concretos permite detectar estas limitaciones.
El programa Holistic Evaluation of Language Models, presentado en noviembre de 2022, defiende una evaluación que abarque varios escenarios y dimensiones, entre ellas la calibración, la robustez y la eficiencia. Su aportación metodológica consiste en hacer visibles las compensaciones que una medición centrada solo en la exactitud oculta.
Por eso, en un informe, separe la tasa de éxito, los errores graves, los rechazos pertinentes y los abandonos. Añada resultados por categoría y ejemplos analizados. Un promedio sirve para resumir; no sustituye la descripción del ámbito evaluado ni el estudio de los fallos.
Crear un panel de seguimiento de los avances hacia la AGI
Una evaluación sostenible debe permitir detectar avances sin pretender convertirlos en un porcentaje de AGI. Puede seguir la amplitud de las tareas resueltas, la adaptación a situaciones nuevas, la estabilidad, la autonomía y los recursos necesarios.
En su presentación del marco cognitivo publicada el 17 de marzo de 2026, Google DeepMind también propone basar la medición en una taxonomía de capacidades cognitivas. Este planteamiento ofrece otra forma de organizar la cobertura de las evaluaciones; también debe juzgarse por las pruebas que permite construir.
En cada nueva publicación, busque respuestas documentadas a estas preguntas:
- ¿Qué capacidad se pretende medir y cuáles quedan fuera del ámbito de evaluación?
- ¿Las tareas son nuevas para el sistema y para sus desarrolladores?
- ¿Son comparables el protocolo, los recursos y los criterios de parada?
- ¿La mejora se reproduce en otras tareas de la misma naturaleza?
- ¿Se comprenden los errores que persisten y son reproducibles los resultados?
La evidencia gana solidez cuando las mejoras convergen en pruebas independientes, con los recursos descritos y la transferencia comprobada. Su alcance sigue limitado a lo observado. Para seguir los avances hacia la AGI, lo útil es disponer de un perfil de capacidades acompañado de sus incertidumbres, en lugar de presentar un umbral aislado como un veredicto.
Páginas relacionadas
Preguntas frecuentes
¿Existe algún benchmark que demuestre que una IA ha alcanzado la AGI?
Para emitir ese veredicto, primero habría que acordar una definición de AGI y unos criterios de aceptación. Una prueba puede demostrar una capacidad dentro de su ámbito; ni su nombre ni su dificultad le otorgan automáticamente un alcance general.
¿Un benchmark saturado deja de ser útil?
Puede seguir siendo útil para detectar retrocesos o comparar sistemas de menor rendimiento. Sin embargo, para distinguir entre los mejores sistemas hacen falta pruebas o restricciones que sigan aportando información.
¿Se puede detectar la contaminación sin conocer los datos de entrenamiento?
Algunos métodos buscan indicios en las probabilidades del modelo o en las diferencias entre las pruebas originales y sus variantes. Su interpretación depende de supuestos estadísticos: no equivalen a una auditoría exhaustiva de los datos.
¿Por qué dos clasificaciones ofrecen resultados distintos?
Pueden evaluar tareas, presupuestos o sistemas de puntuación diferentes. Compruebe también si el resultado corresponde a un modelo por sí solo, a un agente con herramientas o a una configuración especializada.
¿Una puntuación más alta permite predecir cuándo llegará la AGI?
Una previsión requiere un modelo explícito que relacione las mediciones observadas con las capacidades que aún faltan. Prolongar una curva de puntuaciones sin justificar esa relación no proporciona una fecha fiable.