« On the Measure of Intelligence » explicado de forma sencilla

En On the Measure of Intelligence, François Chollet propone medir la inteligencia de una IA por su eficiencia para adquirir nuevas habilidades, teniendo en cuenta lo que ya sabe, su experiencia y la dificultad de las tareas. Por tanto, medir la inteligencia de una IA exige algo más que una puntuación de aciertos: hay que examinar cómo llega el sistema a resolver un problema nuevo. Esta propuesta se desarrolla en el ensayo publicado en arXiv el 5 de noviembre de 2019.

Resolver una tarea no explica todo el aprendizaje

El argumento central de François Chollet distingue entre las habilidades adquiridas y la capacidad para adquirir habilidades. Un rendimiento excelente puede depender de una preparación especializada, de conocimientos incorporados por los diseñadores o de una gran cantidad de ejemplos. Su marco tiene en cuenta las familias de tareas evaluadas, los conocimientos previos, la experiencia y la dificultad de generalización.

Para concretar esta diferencia, veamos un ejemplo ficticio. Un programa extrae correctamente la información de un formulario en el que conoce la ubicación de cada campo. Usted modifica el diseño, cambia de lugar los apartados e introduce una convención nueva que explica mediante unos pocos ejemplos. El acierto con el formulario inicial no basta, por sí solo, para prever cómo se comportará después.

Este ejemplo no resta valor a la automatización especializada. Si usted solo necesita procesar el formulario inicial, la fiabilidad sigue siendo el criterio decisivo. En cambio, si espera que el sistema se adapte a documentos imprevistos, debe evaluar esa capacidad por separado.

Una medición útil empieza, por tanto, con una pregunta precisa: ¿qué propiedad quiere observar? El acierto inmediato, la resistencia a un cambio de presentación y el aprendizaje de una regla nueva requieren pruebas diferentes. Confundirlas dificulta la interpretación del resultado, aunque la puntuación esté calculada correctamente.

Qué información necesita para interpretar un resultado

El vocabulario del ensayo resulta más accesible si se expresa como preguntas para orientar una evaluación. La tabla siguiente sirve como guía de lectura; no es una fórmula para calcular un índice universal.

Aspecto que debe examinar	Pregunta que debe plantear	Ejemplo en una prueba con documentos
Alcance	¿Qué familias de problemas abarca el resultado?	Formularios, tablas, correspondencia o todos esos documentos
Conocimientos previos	¿Qué información está disponible antes de la prueba?	Plantillas de documentos, reglas del negocio, instrucciones
Experiencia	¿Qué información nueva se aporta durante el aprendizaje?	Demostraciones corregidas, intentos y comentarios sobre los resultados
Dificultad de generalización	¿Qué debe descubrir el sistema más allá de los ejemplos?	Una convención nueva o una combinación de reglas

Suponga que presenta al sistema una regla de clasificación desconocida. Le proporciona documentos ya clasificados y, después, documentos que debe procesar. Si las instrucciones detallan expresamente todo el procedimiento, está evaluando sobre todo su aplicación. Si los ejemplos dejan un patrón por descubrir, está observando una capacidad distinta.

La diferencia depende, por tanto, del contenido de la prueba. Un documento que el sistema nunca ha visto puede reproducir exactamente una estructura que ya domina. A la inversa, un documento de aspecto familiar puede exigir una operación nueva.

Esta distinción explica el interés del concepto de generalización. Al diseñar su prueba, describa qué cambia entre la preparación y la evaluación: los datos, la presentación, la regla o el objetivo. Decir simplemente que algo es «nuevo» resulta demasiado impreciso para definir un protocolo.

Aprender con eficiencia no consiste solo en responder rápido

La presentación oficial de ARC Prize retoma la idea de eficiencia en la adquisición de habilidades y distingue los recursos que aportan los conocimientos previos y la experiencia. Se apoya en la inteligencia fluida: resolver problemas nuevos y adaptarse, más allá de reproducir conocimientos acumulados.

Al interpretar un resultado, evite reducir la eficiencia a la velocidad de ejecución. Un sistema puede responder rápidamente después de una preparación considerable. Otro puede necesitar más tiempo durante la prueba y, aun así, utilizar menos ejemplos específicos de la tarea.

Pensemos en un experimento ficticio: usted enseña una regla para ordenar objetos de distintas formas. Observa las respuestas después de cada demostración y luego presenta una combinación que todavía no ha aparecido. Puede registrar cuánta ayuda necesita el sistema, qué errores persisten y si consigue reutilizar la regla.

El tiempo transcurrido sigue siendo un dato útil, pero no sustituye estas observaciones. En un uso profesional, también añadiría el costo y los recursos informáticos consumidos. Estas dimensiones permiten valorar la utilidad práctica del sistema; no conviene mezclarlas en una puntuación opaca.

Una presentación clara mantiene varias medidas por separado y permite compararlas. Así se distingue entre un aumento de los aciertos, una menor necesidad de demostraciones y una mayor velocidad de procesamiento. Nuestra página sobre la generalización y su evaluación desarrolla esta forma de interpretar los resultados.

ARC permite observar esta cuestión mediante cuadrículas

François Chollet acompaña su planteamiento con un conjunto de problemas llamado ARC, siglas de Abstraction and Reasoning Corpus. La presentación oficial del conjunto original, hoy denominado ARC-AGI-1, recuerda su objetivo: evaluar la capacidad de resolver problemas para los que el sistema no ha recibido una preparación específica.

El repositorio oficial describe tareas formadas por pares de cuadrículas de entrada y salida que sirven como demostraciones. El participante debe construir la salida correspondiente a una entrada nueva, incluidas sus dimensiones. Para considerar correcta la respuesta, esta debe coincidir exactamente con la cuadrícula esperada.

El siguiente ejemplo es inventado y solo sirve para explicar el mecanismo; no es una tarea oficial. Las demostraciones muestran que una figura se desplaza hasta tocar una marca de referencia. En la nueva entrada cambian su posición y su tamaño. Copiar una salida anterior no funciona: hay que identificar la transformación pertinente.

Su interés didáctico consiste en mostrar la diferencia entre reconocer una apariencia y aplicar una relación. Un ejemplo aislado puede admitir varias explicaciones compatibles. Las demostraciones adicionales deben ayudar a distinguir entre esas hipótesis.

El formato también establece un límite claro: resolver esa transformación demuestra un acierto en ese problema. No acredita directamente ninguna capacidad para negociar, dirigir un proyecto o controlar un programa. El artículo ARC-AGI explicado detalla cómo funciona la prueba sin convertir su puntuación en un veredicto global sobre el sistema.

Los conocimientos previos siguen contando

ARC Prize explica que las pruebas se diseñan a partir de conocimientos elementales, como los objetos, el espacio o las cantidades, en lugar de recurrir a conocimientos especializados. Esta orientación busca una comparación pertinente con la capacidad humana de adaptación; no presupone que el participante carezca de todo conocimiento previo.

De ahí se desprende una consecuencia metodológica que conviene hacer explícita: el punto de partida importa tanto como la instrucción visible. En un experimento, debe distinguir entre los conocimientos permitidos, los que pretende enseñar y aquellos cuya presencia haría que la tarea resultara trivial.

Imagine una prueba en la que hay que descubrir cómo agrupar objetos. Si proporciona una herramienta que ya realiza exactamente esa agrupación, el significado del acierto cambia. Puede seguir midiendo la capacidad de utilizar la herramienta, pero habrá trasladado la dificultad a otro lugar.

El mismo problema aparece con las instrucciones muy detalladas. Un procedimiento escrito por quien evalúa puede resolver la mayor parte del trabajo incluso antes del primer intento. Para entender qué aporta el sistema, conserve las instrucciones y los ejemplos en el informe.

Esta transparencia también ayuda a comparar los resultados a lo largo del tiempo. Si cambia a la vez el modelo, las herramientas y las instrucciones, una subida de la puntuación describe el rendimiento del conjunto resultante. No permite atribuir automáticamente la mejora al modelo por sí solo. La unidad de evaluación adecuada depende de la pregunta planteada: un componente aislado o el sistema completo que utilizará el usuario.

Diseñar una prueba que no pueda superarse mediante atajos

El repositorio de ARC pide que las tareas de evaluación no influyan en el desarrollo del algoritmo. En particular, señala el riesgo de modificar repetidamente un sistema utilizando su puntuación de evaluación como señal para ajustarlo. Esta precaución protege la separación entre preparación y medición.

La política oficial de evaluación de ARC Prize también sitúa la confianza en el proceso, la reproducibilidad y la posibilidad de auditar los métodos en el centro de la interpretación de las puntuaciones.

Para su propia evaluación, puede convertir estos principios en un procedimiento sencillo:

• defina la capacidad que busca antes de preparar los ejemplos;
• reserve tareas que no se utilizarán para ajustar las instrucciones;
• establezca las ayudas permitidas y las condiciones para finalizar la prueba;
• conserve las respuestas, los errores y las intervenciones humanas;
• publique las condiciones de realización junto con el resultado.

Añada variaciones que respondan a su necesidad. Si evalúa la adaptación a una regla nueva, cambiar únicamente el color de un documento no siempre será suficiente. Si evalúa la fiabilidad de la lectura ante cambios de presentación, esa variación sí puede ser pertinente.

Prevea también cómo tratar las respuestas parcialmente correctas. Una clasificación global puede ocultar un error en una categoría poco frecuente pero delicada. Presentar los resultados por familias de tareas permite detectar ese problema y facilita la toma de decisiones.

La guía Evaluar un agente de IA amplía este enfoque para los sistemas que ejecutan acciones. Para interpretar las tablas públicas, el artículo Cómo leer las clasificaciones de modelos ofrece otra perspectiva.

Qué decisiones permite tomar este enfoque

La distinción entre habilidad y aprendizaje cambia, sobre todo, el alcance de las conclusiones. Una prueba especializada puede bastar para seleccionar una solución destinada a una tarea estable. Una afirmación sobre inteligencia general exige examinar situaciones diversas y la manera en que se adquieren las habilidades.

Para una compra profesional, empiece por su necesidad real. Quizá busque procesar documentos recurrentes de forma fiable, con errores identificables y un costo aceptable. Exigir una demostración de capacidad general para cubrir esa necesidad limitada no aportaría necesariamente información útil.

Si su proyecto depende de cambios frecuentes, añada escenarios de adaptación. Presente una convención desconocida, observe cuánta ayuda necesita el sistema y compruebe si aplica lo aprendido a casos reservados para la evaluación. Defina de antemano qué resultado consideraría suficientemente bueno para utilizarlo en su actividad.

Mantenga, sin embargo, un límite claro: su experimento local no se convierte, por extensión, en una medida universal de la inteligencia. Ofrece una respuesta acotada, a menudo más útil para decidir que una etiqueta general. Los recursos sobre AGI sitúan estas cuestiones en el contexto del debate de investigación.

La principal aportación práctica de esta lectura es una forma rigurosa de razonar: precisar qué propiedad se mide, documentar las condiciones y limitar la conclusión a lo que la prueba permite establecer. Usted puede reconocer una habilidad útil y, al mismo tiempo, dejar abierta la cuestión de hasta qué punto se extiende a otras situaciones.

Puntos clave

• El rendimiento describe lo que un sistema consigue resolver en las condiciones de una prueba.
• François Chollet propone examinar la eficiencia en la adquisición de habilidades, teniendo en cuenta los conocimientos previos y la experiencia necesarios.
• ARC permite observar esta cuestión en un marco definido, sin constituir un certificado universal de inteligencia.
• Para evaluar una IA, documente las ayudas, reserve tareas nuevas y formule una conclusión acorde con los resultados.

Preguntas frecuentes

¿Cómo define la inteligencia François Chollet?

François Chollet propone evaluarla a partir de la eficiencia con la que un sistema adquiere nuevas habilidades. Esa eficiencia debe valorarse en un conjunto de tareas, teniendo en cuenta los conocimientos previos, la experiencia y la dificultad de generalización.

¿Una puntuación alta en una prueba de referencia demuestra que una IA es inteligente?

Demuestra un rendimiento en las condiciones de esa prueba. Para interpretarlo como un indicio de inteligencia general, también hay que examinar hasta qué punto las tareas son nuevas y qué preparación ha recibido el sistema.

¿ARC-AGI es una prueba de cociente intelectual para las IA?

La comparación ayuda a entender su interés por los problemas nuevos, pero considerarlos equivalentes sería engañoso. Un resultado en ARC-AGI no se convierte directamente en un cociente intelectual humano.

¿Conviene elegir las herramientas de IA según su puntuación en ARC-AGI?

Esa puntuación puede aportar información sobre una capacidad concreta, pero su elección requiere una evaluación adaptada a su actividad. Compruebe también los errores, las intervenciones humanas necesarias, los plazos y el costo de las tareas resueltas correctamente.