Dossier AGI · Principiante · 11 min
ARC-AGI: la prueba, sus versiones y los resultados publicados
ARC-AGI evalúa la adaptación a problemas nuevos. Conozca sus tres versiones, los resultados publicados y sus límites para interpretar los avances de la IA.
ARC-AGI es una serie de pruebas que evalúa la capacidad de un sistema para descubrir reglas y adaptarse a problemas nuevos a partir de pocos ejemplos. ARC-AGI-1 y ARC-AGI-2 utilizan cuadrículas de colores; ARC-AGI-3 plantea entornos interactivos que hay que explorar. Sus puntuaciones aportan información sobre capacidades concretas, pero no certifican que un sistema posea inteligencia artificial general.
Qué pretende medir ARC-AGI
El punto de partida es la diferencia entre dominar una habilidad y saber adquirir una nueva. Un programa puede resolver un ejercicio porque sus creadores le han proporcionado muchos ejemplos o un método especializado. Ese resultado no basta para saber cómo responderá ante una dificultad distinta.
En On the Measure of Intelligence, publicado en noviembre de 2019, François Chollet propone definir la inteligencia como la eficiencia con la que se adquieren habilidades, teniendo en cuenta los conocimientos previos, la experiencia y la dificultad de generalización. ARC, siglas de Abstraction and Reasoning Corpus, es el instrumento experimental asociado a esta propuesta.
La prueba busca así evaluar una forma de inteligencia fluida: comprender una situación desconocida y elaborar una solución, en lugar de reproducir conocimientos especializados. La generalización consiste aquí en pasar de las situaciones observadas a una situación nueva.
Este planteamiento no supone que el sistema parta sin conocimientos. Reconocer objetos, su continuidad o una simetría ya implica ciertas expectativas sobre el mundo. La cuestión es determinar con qué conocimientos iniciales, qué experiencia adicional y qué recursos consigue resolver el problema.
Para situar este enfoque entre otras líneas de investigación, la sección de AGI e investigación reúne las páginas de referencia del sitio.
Cómo se resuelve una tarea de cuadrículas
En el formato estático, usted observa pares de cuadrículas: una entrada y su salida correspondiente. Debe encontrar una transformación que encaje con las demostraciones y, después, producir la salida de una entrada nueva. La regla no se explica en lenguaje natural.
Veamos un ejemplo didáctico ficticio que no reproduce ninguna tarea oficial. Las demostraciones muestran una figura rodeada por un marco; la salida conserva únicamente la figura interior. Para resolver una entrada nueva, hay que comprender la función del marco, determinar qué delimita y construir la cuadrícula esperada.
Sin embargo, una demostración aislada podría admitir otra explicación: conservar el color dominante o eliminar los objetos de la periferia. Los demás ejemplos permiten decidir cuál de esas interpretaciones es la adecuada. Por tanto, parte de la dificultad consiste en elegir la representación correcta del problema.
La respuesta debe ser una cuadrícula exacta, con las dimensiones y las casillas correctas. Una explicación convincente acompañada de una cuadrícula equivocada no sustituye a una solución válida.
El repositorio oficial de ARC-AGI-1, consultado el 24 de octubre de 2026, contiene los datos y una interfaz para resolver las tareas manualmente. También describe el formato de los archivos. Conviene prestar atención a los protocolos históricos: el repositorio menciona tres intentos, mientras que las evaluaciones de ARC Prize utilizan, entre otras medidas, pass@2. Siempre hay que consultar la regla asociada a la puntuación citada.
Diferencias entre las tres versiones
Las versiones no son simplemente tres niveles intercambiables de un mismo examen. El paso a la interacción cambia tanto lo que el participante debe descubrir como la forma de medir su éxito.
| Criterio | ARC-AGI-1 | ARC-AGI-2 | ARC-AGI-3 |
|---|---|---|---|
| Fecha de publicación de referencia | 2019 | Marzo de 2025 | Marzo de 2026 |
| Formato | Cuadrículas de entrada y salida | Cuadrículas de entrada y salida | Entornos interactivos |
| Información disponible | Demostraciones de una transformación | Demostraciones de una transformación | Observaciones obtenidas al actuar |
| Trabajo requerido | Inferir una transformación | Combinar reglas más exigentes | Explorar, descubrir el objetivo y actuar |
| Interpretación de la puntuación | Resolución exacta según el protocolo | Resolución exacta según el protocolo | Resolución y eficiencia de las acciones |
Estas fechas figuran en el informe técnico de ARC-AGI-3, fechado el 22 de abril de 2026. La tercera versión se lanzó el 25 de marzo de 2026.
ARC-AGI-1 sigue siendo útil para estudiar métodos y comparar resultados históricos. Sin embargo, cuando los sistemas alcanzan puntuaciones cercanas al máximo, esta versión pierde capacidad para distinguir entre los mejores.
ARC-AGI-2 mantiene el problema de transformación, pero exige más composición de reglas e interpretación del contexto. ARC-AGI-3 añade una dificultad diferente: elegir qué observaciones se van a obtener. Se pasa de recibir ejemplos a organizar, en parte, la propia experiencia de aprendizaje.
Por ello, un mismo porcentaje en dos versiones no expresa una capacidad idéntica. Toda comparación debe ir acompañada de la métrica y del contenido de las pruebas.
ARC-AGI-2: combinar e interpretar las reglas
ARC-AGI-2 se presentó el 24 de marzo de 2025. Su anuncio oficial describe tareas diseñadas para poner a prueba la interpretación simbólica, la composición de transformaciones y las reglas que dependen del contexto.
El reto va más allá de reconocer un patrón. Un elemento puede actuar como señal para transformar otro objeto; una regla puede aplicarse solo en una región determinada. Para acertar, el método debe seleccionar las relaciones relevantes, además de detectar semejanzas visuales.
El anuncio precisa que, en un estudio controlado, cada tarea fue resuelta por al menos dos personas en un máximo de dos intentos. También indica una puntuación humana media del 60 %. Estos resultados, publicados en el lanzamiento de marzo de 2025, describen dos aspectos distintos: la resolución de las tareas entre el conjunto de participantes y el rendimiento individual medio.
Esta distinción evita una confusión frecuente. Que todas las tareas hayan sido resueltas por personas no significa que cada participante obtenga una puntuación perfecta.
La evaluación con participantes humanos establece que los problemas son accesibles en las condiciones estudiadas. No demuestra que las personas y las máquinas dispongan exactamente de los mismos conocimientos iniciales. Para hacer una comparación rigurosa, hay que examinar las instrucciones, los intentos permitidos y la población evaluada, además de la media final.
ARC-AGI-3: aprender mediante la exploración
ARC-AGI-3 presenta entornos abstractos en los que el participante debe actuar para comprender lo que ocurre. Las reglas y los objetivos no se proporcionan de forma explícita. Cada acción genera una observación que puede confirmar o descartar una hipótesis.
El cambio tiene consecuencias prácticas: en una cuadrícula estática, usted puede volver a examinar las demostraciones disponibles. En un entorno interactivo, una exploración mal planteada puede consumir acciones sin aportar información útil. Hay que decidir qué probar y qué información conservar.
Imaginemos, como ejemplo didáctico, que un objeto cambia de aspecto después de atravesar una zona. El participante puede intentar averiguar si el cambio depende de la zona, del desplazamiento o de otro elemento. Un buen experimento modifica un factor identificable; una sucesión de acciones sin una hipótesis dificulta la interpretación.
La puntuación descrita en el informe técnico tiene en cuenta la eficiencia de las acciones respecto a una referencia humana. En particular, el informe aplica una penalización cuadrática a las ineficiencias: completar un nivel con muchas acciones puede aportar pocos puntos.
Por tanto, hay que distinguir entre:
- alcanzar un estado que cumpla el objetivo;
- alcanzarlo mediante una exploración eficiente;
- conservar lo aprendido para los niveles siguientes.
Esta diferencia acerca la prueba a los problemas de aprendizaje activo. Aun así, estos juegos abstractos no constituyen una simulación completa del trabajo de un agente en un navegador o en una aplicación empresarial.
Resultados publicados a 24 de octubre de 2026
La tabla oficial de resultados de ARC Prize, consultada el 24 de octubre de 2026, presenta los siguientes valores. Esta selección ilustra las diferencias entre versiones; no es una clasificación exhaustiva.
| Modelo | Fecha indicada por ARC Prize | ARC-AGI-1 | ARC-AGI-2 | ARC-AGI-3 |
|---|---|---|---|---|
| GPT-6.1 Sol | 29 de septiembre de 2026 | 98,5 % | 94,2 % | 96,37 % |
| Gemini 4 Argon | 13 de octubre de 2026 | 98,5 % | 91,3 % | 97,46 % |
| Claude Sonnet 5.5 | 28 de septiembre de 2026 | 96,5 % | 83,9 % | 72,44 % |
Estas filas reúnen resultados que no necesariamente corresponden al mismo ajuste ni al mismo sistema de evaluación en las tres pruebas. Sirven como punto de partida para consultar las evaluaciones detalladas.
La fecha indicada corresponde a la entrada en esa tabla; no constituye una prueba independiente de la fecha de lanzamiento comercial del modelo. Cuando aparece un guion en otros resultados, indica que no hay un valor publicado; no significa cero.
La cercanía de las puntuaciones en ARC-AGI-1 también muestra una limitación práctica: esta versión deja poco margen para diferenciar los sistemas de la selección. Las diferencias siguen siendo más visibles en las otras versiones.
Por último, las cifras muy bajas difundidas durante el lanzamiento de ARC-AGI-3 corresponden a un momento histórico de la evaluación. Presentarlas como el rendimiento actual en octubre de 2026 daría una imagen desactualizada de los resultados publicados.
Por qué el sistema de evaluación cambia el resultado
Un modelo interactivo no trabaja solo. Un programa le transmite las observaciones, recibe sus decisiones y conserva cierta información entre acciones. Este conjunto de mecanismos suele denominarse harness.
La ficha oficial de evaluación de GPT-6.1 Sol, consultada el 24 de octubre de 2026, distingue entre un sistema Standard y un Provider Adapter. El primero permite transmitir notas elegidas por el modelo; el segundo conserva un estado de razonamiento opaco entre solicitudes y utiliza la compactación para las conversaciones largas.
| Modelo y ajuste | ARC-AGI-3 Standard | ARC-AGI-3 Provider Adapter | Aspecto que debe tenerse en cuenta |
|---|---|---|---|
| GPT-6.1 Sol, max | 52,7 % | 96,2 % | Mismo ajuste, distinta conservación del estado |
| GPT-6.1 Sol, xhigh | 39,9 % | 96,4 % | Un ajuste diferente también modifica los resultados |
| Gemini 4 Argon, low | 49,8 % | 97,5 % | Evaluación Standard parcialmente interrumpida |
La ficha oficial de Gemini 4 Argon precisa que algunos problemas de API impidieron completar ciertas evaluaciones Standard. Las puntuaciones publicadas incluyen las tareas sin terminar con los puntos parciales obtenidos. La ficha también redondea algunos valores de la tabla de resumen.
La diferencia no permite aislar una única causa cognitiva. Lo que muestra, sobre todo, es que la gestión del estado forma parte de las condiciones experimentales. Comparar un resultado Standard con uno de Provider Adapter sin indicarlo mezcla dos configuraciones distintas.
Modelo, método y cómputo: identificar qué explica el éxito
El rendimiento puede depender del modelo, pero también de cómo lo utiliza el sistema. Producir directamente una cuadrícula, escribir un programa que proponga una solución o explorar varias hipótesis no son procedimientos equivalentes.
Para entender un resultado, distinga tres niveles:
- El modelo: los parámetros aprendidos y las capacidades disponibles durante la inferencia.
- El método: las instrucciones, las representaciones, la memoria y la selección de respuestas.
- Los recursos: el cómputo, el tiempo, los intentos y las herramientas permitidos.
Esta separación ayuda a interpretar los avances. Un método mejor puede revelar una capacidad que antes se aprovechaba mal; disponer de más cómputo puede permitir examinar más posibilidades. La puntuación por sí sola no indica qué factor aporta más al resultado.
La síntesis de programas ofrece una posible forma de plantear el trabajo: proponer una transformación ejecutable, comprobar que explica las demostraciones y aplicarla después a la entrada nueva. Sin embargo, una solución compatible con los ejemplos todavía puede fallar en el caso desconocido.
La adaptación en tiempo de prueba engloba mecanismos que aprovechan el problema encontrado para mejorar la respuesta. Dedicar más cómputo a una tarea no implica, por sí mismo, modificar los parámetros del modelo.
Para el usuario, la cuestión práctica tiene, por tanto, dos partes: qué rendimiento alcanza el sistema y qué recursos necesita realmente para reproducirlo.
Precauciones necesarias al comparar puntuaciones
Antes de comparar dos resultados, compruebe su contexto experimental. Un benchmark aporta información útil cuando su protocolo es lo bastante preciso para explicar qué representan los números.
Empiece por el conjunto de tareas. Los conjuntos públicos permiten inspeccionar los problemas y desarrollar métodos; los semiprivados y privados buscan limitar el acceso a las respuestas de evaluación. Resolver un conjunto público no aporta la misma evidencia que resolver problemas que se han mantenido confidenciales.
Examine después cuántas respuestas se permiten. El pass@2 acepta un acierto entre dos propuestas finales. No se puede comparar directamente con un procedimiento que exige una única respuesta.
La contaminación de los benchmarks es otra limitación. Una respuesta exacta puede deberse a una exposición previa en lugar de a una nueva adaptación. Además, la ausencia de una copia evidente no basta para descartar cualquier semejanza con los datos de entrenamiento.
Por último, anote el sistema de evaluación, las herramientas, el presupuesto y las posibles interrupciones. Una diferencia de protocolo no invalida un resultado, pero limita las comparaciones que se pueden hacer con él.
Una forma útil de resumir la evaluación cabe en una frase: un sistema determinado, con una configuración concreta, obtuvo una puntuación en un conjunto de tareas, con ciertos recursos y en una fecha. El artículo Cómo interpretar las clasificaciones de benchmarks de LLM desarrolla este método más allá de ARC.
Qué permiten afirmar los resultados sobre la AGI
Un buen resultado en ARC-AGI respalda una afirmación acotada: el sistema resuelve problemas de esta familia en las condiciones evaluadas. No mide directamente la fiabilidad en el trabajo profesional, la comprensión social ni la capacidad para llevar a cabo una investigación científica independiente.
La perspectiva de François Chollet sitúa la eficiencia del aprendizaje en el centro de la definición de inteligencia. Otros investigadores organizan la evaluación de otra manera, sin que esa diferencia implique necesariamente un desacuerdo sobre cada resultado experimental.
En Levels of AGI for Operationalizing Progress on the Path to AGI, Meredith Ringel Morris y sus coautores proponen, entre otras cosas, distinguir la profundidad del rendimiento, la amplitud de las capacidades y la autonomía. Este marco contempla, por tanto, un perfil de competencias más amplio que el de una sola prueba.
Los enfoques no responden exactamente a la misma pregunta. Uno pone el énfasis en la adquisición eficiente de habilidades nuevas; el otro busca situar las capacidades en varias dimensiones. Sería excesivo presentar un porcentaje de ARC-AGI como una respuesta consensuada a la definición de AGI.
También existe el riesgo opuesto: restar valor a cualquier avance porque la prueba sigue siendo incompleta. Un instrumento puede revelar mejoras medibles sin abarcar todo el fenómeno que estudia. Esta lectura intermedia es la que permite aprovechar las puntuaciones.
Cómo utilizar esta página de referencia
Para conocer el tema, empiece por observar una tarea y distinguir los datos proporcionados de la regla que debe inferirse. El artículo ARC-AGI explicado ofrece una primera aproximación más breve; esta página reúne las distinciones necesarias para interpretar los resultados.
Para seguir la investigación, conserve las condiciones asociadas a cada puntuación. Una captura de una clasificación pierde rápidamente su valor si omite el conjunto evaluado o el sistema empleado.
Para elegir una herramienta profesional, utilice ARC-AGI como indicador complementario. Un sistema que resuelve bien las cuadrículas abstractas todavía debe demostrar que comprende sus documentos, respeta sus restricciones y realiza acciones verificables.
La competición, por su parte, constituye un marco distinto. La página dedicada a ARC Prize detalla sus normas y sus ediciones; un resultado público de un modelo no equivale automáticamente a una candidatura que reúna los requisitos para optar a sus premios.
Puntos clave:
- ARC-AGI examina la adaptación a problemas nuevos dentro de un ámbito experimental definido.
- Las versiones estáticas y las interactivas no producen porcentajes directamente intercambiables.
- Hay que distinguir los resultados actuales de las cifras históricas del lanzamiento.
- El sistema de evaluación, la memoria, los intentos y el cómputo forman parte del resultado.
- Una puntuación alta documenta una capacidad; por sí sola, no resuelve la cuestión de la AGI.
Páginas relacionadas
Preguntas frecuentes
¿ARC-AGI es una prueba de cociente intelectual para la IA?
La comparación ayuda a entender sus problemas abstractos, pero ARC-AGI no proporciona un cociente intelectual. Su puntuación depende del conjunto de tareas, del cómputo permitido y del protocolo; no se puede convertir en una puntuación psicométrica humana.
¿Se puede probar ARC-AGI sin saber programar?
Sí. Las interfaces públicas permiten resolver cuadrículas o explorar entornos interactivos desde un navegador. Programar resulta útil para construir un sistema que se evalúe de forma automática, pero no hace falta para conocer los ejercicios.
¿Una puntuación alta en ARC-AGI demuestra que una IA es general?
Demuestra un rendimiento dentro de unas condiciones concretas. Para sostener que existe una capacidad general, también hay que comprobar la transferencia a otros ámbitos, los recursos necesarios y la solidez de los resultados en tareas independientes.
¿Por qué hay varias puntuaciones para un mismo modelo?
Pueden variar el nivel de razonamiento, las tareas utilizadas y el sistema que conserva la información entre acciones. Consulte la ficha detallada de la evaluación antes de comparar porcentajes aislados.
¿Qué diferencia hay entre ARC-AGI y ARC Prize?
ARC-AGI es la serie de pruebas. ARC Prize es la fundación y el nombre de las competiciones asociadas, cuyas normas de participación y cómputo no son las mismas que las de todas las evaluaciones públicas de modelos.