La generalización, núcleo de la inteligencia según François Chollet: definiciones, ejemplos y medición

La generalización es la capacidad de utilizar lo aprendido para desenvolverse con éxito en situaciones nuevas. En On the Measure of Intelligence, François Chollet sitúa en el centro de su definición de inteligencia la eficiencia con la que se adquieren nuevas habilidades, teniendo en cuenta los conocimientos previos, la experiencia y la dificultad de las tareas. Por eso, medirla exige algo más que una puntuación final: hay que examinar qué es nuevo para el sistema y qué medios utiliza para resolverlo.

Distinguir las habilidades adquiridas de la capacidad de aprender

Un programa puede destacar en una actividad muy delimitada. Esa habilidad permite valorar su utilidad dentro de ese ámbito, pero deja abierta otra cuestión: cómo cambia su rendimiento cuando se modifican las reglas o las situaciones.

Imagine dos sistemas encargados de clasificar objetos. El primero aplica un catálogo de correspondencias redactado de antemano; el segundo deduce un criterio de clasificación a partir de demostraciones. Mientras el catálogo incluya todos los casos de la prueba, ambos pueden obtener los mismos resultados. Para distinguir sus capacidades, hace falta introducir una variación pertinente.

La distinción que defiende Chollet se centra en esa diferencia entre las habilidades adquiridas y la eficiencia del aprendizaje. Su marco también tiene en cuenta la amplitud del conjunto de tareas evaluadas. Por tanto, resolver bien una actividad especializada no basta, por sí solo, para concluir que existe una inteligencia general.

Esta distinción no resta valor práctico a un sistema especializado. Para procesar documentos estandarizados puede bastar una solución de alcance limitado. El error consiste en convertir automáticamente su eficacia en ese contexto en una prueba de capacidades más amplias.

Para situar este debate entre otros enfoques, el especial sobre AGI e investigación reúne las páginas de referencia. El artículo On the Measure of Intelligence explicado de forma sencilla se centra en el razonamiento del texto fundacional; esta página desarrolla sobre todo las distinciones conceptuales y los métodos de evaluación.

Definir con precisión qué tiene de nuevo una tarea

Un caso puede ser nuevo sin exigir una habilidad nueva. Una factura que el sistema nunca ha visto, pero que procede del mismo programa y utiliza la misma plantilla que las anteriores, puede presentar únicamente una variación de contenido.

Un documento en el que las columnas cambian de posición introduce una dificultad distinta. Si, además, un descuento solo se aplica a determinadas líneas, el problema vuelve a cambiar: hay que comprender una relación, no solo reconocer una distribución visual. Estos ejemplos son ilustrativos; no describen los resultados de ninguna herramienta concreta.

Por eso, al hablar de generalización, conviene precisar qué cambia:

• los valores, los colores o las formulaciones;
• la presentación de la información;
• las combinaciones de elementos ya conocidos;
• las reglas necesarias para resolver la tarea;
• el ámbito y los conocimientos que se utilizan.

La interpolación consiste en realizar una predicción dentro de una región cubierta por los ejemplos disponibles. La extrapolación se refiere a casos que quedan fuera de esa cobertura. Sin embargo, la frontera depende de la representación elegida: dos imágenes visualmente muy diferentes pueden compartir exactamente la misma estructura lógica.

Una tarea fuera de distribución difiere de los datos de referencia en algún aspecto definido. Esa expresión no significa automáticamente que la tarea exija una inteligencia general. Cambiar la iluminación de una fotografía e idear un procedimiento para resolver un problema desconocido son pruebas distintas.

Una evaluación rigurosa describe la variación concreta, en lugar de limitarse a calificar la tarea como nueva.

Reconocer las principales formas de transferencia

Hay distintas pruebas que permiten explorar la generalización. No son intercambiables: cada una ayuda a descartar algunas explicaciones del éxito, aunque deja abiertas otras posibilidades.

Prueba	Qué cambia	Qué se mantiene	Qué permite examinar
Variación superficial	Color, vocabulario, posición	Regla y estructura	Resistencia a las pistas superficiales
Nueva combinación	Asociación entre los elementos	Elementos y operaciones disponibles	Composición de conocimientos
Nueva regla local	Transformación que hay que descubrir	Formato de presentación	Adaptación a las demostraciones
Transferencia entre ámbitos	Objetos y contexto de uso	Relación abstracta que se supone común	Alcance de la transferencia
Cambio de procedimiento	Pasos y restricciones	Objetivo final	Capacidad de reorganizar una solución

Considere una regla a modo de ejemplo: mover una pieza hasta el borde del tablero. Cambiar su color permite comprobar que el sistema no estaba utilizando el color como atajo. Añadir obstáculos puede exigir una planificación adicional. Pedir que mueva todas las piezas salvo la que toca un obstáculo introduce una combinación de condiciones.

La generalización composicional consiste en utilizar elementos conocidos en una combinación nueva. Conocer por separado una operación y una condición no garantiza que el sistema ejecute correctamente ambas cuando aparecen juntas.

Estas pruebas no forman una escala universal de dificultad. Una tarea visual puede ser sencilla para un sistema que dispone de una representación adecuada y difícil para otro que recibe una transcripción ambigua.

Por eso, al comparar enfoques, compruebe también cómo accede cada sistema al problema. De lo contrario, una dificultad de percepción o de formato podría interpretarse como una incapacidad para transferir una regla.

Comprender el papel de los conocimientos previos

Una tarea nueva nunca se resuelve desde cero. Hace falta reconocer objetos, interpretar símbolos, comprender las demostraciones o saber qué transformaciones son posibles.

En el marco de Chollet, los conocimientos previos y la experiencia deben tenerse en cuenta para interpretar las habilidades alcanzadas. No se trata de enfrentar conocimiento e inteligencia, sino de evitar que una preparación específica explique por sí sola el éxito.

Al evaluar un sistema, distinga las posibles fuentes de información:

• su entrenamiento previo;
• las instrucciones que describen la tarea;
• los ejemplos proporcionados durante la evaluación;
• los documentos o las herramientas que puede consultar;
• las correcciones que recibe después de un intento.

Suponga que una regla de clasificación aparece de forma explícita en una documentación accesible. Encontrarla y aplicarla puede resultar útil, pero esa prueba mide algo distinto de descubrirla a partir de unas pocas observaciones.

La comparación con las personas exige la misma cautela. Una persona adulta cuenta con una experiencia perceptiva, lingüística y práctica considerable. Mostrarle pocas demostraciones no significa que aprenda sin conocimientos previos.

La inteligencia fluida es la capacidad de razonar ante problemas nuevos, frente al uso de conocimientos acumulados. En la práctica, ambas suelen intervenir de forma conjunta. Un protocolo puede intentar reducir determinadas dependencias culturales, pero eso no coloca automáticamente a todos los participantes en condiciones equivalentes.

Qué pretende hacer observable ARC-AGI

El conjunto de tareas que inicialmente se llamó ARC, por Abstraction and Reasoning Corpus, se presenta hoy con el nombre ARC-AGI. En las tareas con cuadrículas del corpus original, los ejemplos de entrada y salida permiten inferir una transformación y, después, generar la salida correspondiente a una entrada nueva.

El repositorio oficial del corpus original contiene las tareas y su presentación. Su interés metodológico reside en exigir una respuesta verificable: una explicación plausible no sustituye la producción de la cuadrícula esperada.

ARC Prize explica que el diseño parte de conocimientos elementales sobre objetos, espacio y cantidades, entre otros aspectos. Según su presentación de los principios de ARC-AGI, esta elección busca limitar la dependencia de conocimientos especializados y examinar el aprendizaje de tareas desconocidas.

Considere este ejemplo inventado para la explicación: varias demostraciones muestran un objeto cuya forma se conserva, pero cuyas casillas interiores cambian de color. La respuesta podría exigir distinguir el contorno del interior. Para comprobar esa interpretación, habría que presentar una forma diferente y evitar que bastara con una simple correspondencia entre píxeles.

La página de referencia sobre ARC-AGI detalla la prueba y sus variantes. No hace falta conocer ningún resultado concreto para entender el principio: una evaluación de la generalización debe variar los problemas y, al mismo tiempo, mantener un criterio de corrección suficientemente preciso para comparar las respuestas.

Medir la adquisición de habilidades, no solo un resultado aislado

Para examinar la adaptación, puede observar cómo evoluciona el éxito a medida que aumenta la información disponible. Una respuesta correcta después de una demostración y otra obtenida tras numerosas correcciones no describen el mismo proceso de aprendizaje.

El siguiente protocolo es una propuesta editorial para una evaluación local, no una fórmula oficial para medir la inteligencia.

Defina una familia de tareas. Especifique las reglas posibles, los conocimientos permitidos y los criterios de éxito. Una familia demasiado vaga dificulta la interpretación de los errores.

Separe la preparación de la evaluación. Las tareas utilizadas para elaborar las instrucciones o ajustar el sistema no deben ser la única base para anunciar su rendimiento.

Varíe la información recibida. Compare condiciones con más o menos demostraciones, utilizando tareas distintas pero comparables.

Fije los recursos. Declare las herramientas, los intentos, el tiempo disponible y las intervenciones humanas. Mantenga el mismo criterio de corrección en todas las condiciones.

Describa los errores. Una respuesta con un formato incorrecto, una regla equivocada y una regla correcta mal ejecutada requieren diagnósticos diferentes.

El resultado de interés es, por tanto, un perfil de adquisición: en qué condiciones alcanza el sistema una habilidad útil y en qué punto deja de mejorar.

Un experimento así sigue teniendo un alcance local. No proporciona un valor absoluto de inteligencia. La guía para evaluar un agente de IA aplica esta lógica a los usos operativos, con conjuntos de pruebas y criterios adaptados al trabajo esperado.

Controlar los atajos y la contaminación

Una prueba puede utilizar formulaciones inéditas y, aun así, repetir una estructura que se volvió familiar durante la preparación. A la inversa, compartir algunos elementos conocidos no basta para invalidar una prueba: toda transferencia requiere cierta continuidad.

Lo que hay que determinar es si el éxito depende de la relación que se pretende medir. Si un sistema debe clasificar por la forma, pero los objetos redondos siempre son naranjas, puede aprovechar el color. En ese caso, su rendimiento no permite distinguir entre ambas reglas.

Para hacer visible esa ambigüedad, construya casos en los que las pistas apunten en direcciones distintas: un objeto redondo azul y, después, un objeto con ángulos de color naranja. Este cambio permite examinar una hipótesis concreta sobre el comportamiento del sistema.

La contaminación de las evaluaciones incluye, entre otras situaciones, la exposición previa a los elementos de una prueba o a sus soluciones. El repositorio oficial de ARC-AGI recomienda evitar que las tareas de evaluación orienten el desarrollo del algoritmo.

En la práctica, reserve una parte de las tareas fuera del ciclo de ajustes. Documente los ejemplos que se han mostrado al sistema y los cambios realizados después de consultar los resultados. Si no tiene acceso a los datos de entrenamiento, indique esa limitación en lugar de certificar que no hubo exposición previa.

Otro control útil consiste en comparar tareas de aspecto similar pero con una lógica diferente, y después hacer lo contrario. Así podrá distinguir mejor entre el reconocimiento superficial y la transferencia de una estructura.

Contabilizar el cómputo y las ayudas disponibles

La eficiencia del aprendizaje y la eficiencia computacional son dos dimensiones que deben documentarse por separado. Chollet las distingue en su marco: utilizar poca información nueva no significa necesariamente consumir poco tiempo o pocos recursos de cómputo.

En su propia evaluación, mantenga varias columnas en el balance: éxito, información proporcionada, recursos consumidos y asistencia recibida. Agruparlas demasiado pronto en una media oculta las compensaciones entre unas dimensiones y otras.

Suponga que un sistema propone numerosas soluciones candidatas, las verifica y conserva la mejor. Compare su rendimiento con el de otro sistema solo después de precisar los recursos asignados a cada uno. Recurrir a la búsqueda no invalida el resultado, pero cambia las condiciones en las que se ha obtenido.

También hay que especificar qué se está evaluando. Un modelo por sí solo, un modelo acompañado de un motor de búsqueda y un agente capaz de ejecutar programas no disponen de los mismos medios.

Cuando una herramienta aporta la respuesta intermedia decisiva, el resultado corresponde al sistema completo. Atribuírselo únicamente al modelo de lenguaje impediría comprender qué funciona y qué podría fallar si esa herramienta dejara de estar disponible.

Por eso, al consultar una clasificación pública, busque el protocolo antes de comparar las puntuaciones. El artículo sobre cómo interpretar los benchmarks de los modelos desarrolla este enfoque. Una medición útil indica las condiciones que permiten reproducir el rendimiento anunciado, más allá del nombre que aparece en la tabla.

Los investigadores discrepan sobre la definición y los métodos

El enfoque de Chollet es una propuesta de definición y evaluación, no una definición aceptada de forma unánime. El propio texto reconoce que pueden adoptarse otras definiciones según el contexto.

Shane Legg y Marcus Hutter proponen otra formalización en Universal Intelligence: A Definition of Machine Intelligence, publicado en 2007. Se centra en la capacidad de alcanzar objetivos en una amplia variedad de entornos, con una ponderación vinculada a su complejidad. Su punto de partida difiere de una comparación centrada en la eficiencia con la que se adquieren habilidades de tipo humano.

Las discrepancias también afectan a los mecanismos capaces de generalizar. Sería excesivo deducir de las dificultades observadas que una red neuronal nunca puede recombinar conocimientos.

En un estudio publicado en Nature el 25 de octubre de 2023, Brenden Lake y Marco Baroni muestran que una red entrenada mediante metaaprendizaje puede alcanzar una generalización sistemática comparable a la de los participantes humanos en sus pruebas de composición. Ese resultado se limita a las tareas estudiadas; no demuestra una inteligencia general.

Por tanto, estas posiciones no se dividen simplemente entre partidarios y detractores de las redes neuronales. Es posible compartir el interés por la transferencia y, a la vez, discrepar sobre cómo definirla, aprenderla y medirla.

Para valorar una propuesta, separe estas cuestiones: qué fenómeno se busca, qué experimento permite observarlo y qué arquitectura obtiene el resultado.

Interpretar los resultados sin ampliar su alcance

El éxito repetido en tareas nuevas constituye un indicio de transferencia dentro del ámbito estudiado. Aporta más información cuando se controlan los atajos y se describen los recursos utilizados.

Sin embargo, no demuestra todas las propiedades que a veces se asocian con la inteligencia. Una prueba de transformación de cuadrículas no mide directamente la comprensión social, la capacidad de realizar un experimento físico ni la fiabilidad de una acción en un programa de gestión empresarial.

El fracaso exige una interpretación igual de precisa. El sistema puede haber representado mal los objetos, elegido una hipótesis demasiado pronto, agotado el tiempo disponible o fallado al ejecutar una regla que sí había identificado. La puntuación final, por sí sola, no permite decidir entre estas explicaciones.

Evite también equiparar una explicación fluida con una demostración de comprensión. Una hipótesis puede ponerse a prueba cuando permite predecir una respuesta en un caso que distingue entre varias reglas posibles.

Por último, para decidir sobre un uso concreto, traduzca la generalización en variaciones observables: documentos de un proveedor nuevo, solicitudes formuladas de otra manera, excepciones desconocidas o herramientas que dejan de estar disponibles. Evalúe directamente esos cambios en lugar de extrapolar a partir de una prueba alejada del uso previsto.

La página sobre los benchmarks de AGI sitúa estas limitaciones en un marco más amplio. Una evaluación que siga siendo útil con el tiempo debe poder evolucionar cuando los sistemas aprenden las convenciones de la prueba, conservando un registro de las condiciones anteriores.

Puntos clave

• Las habilidades adquiridas describen lo que un sistema consigue hacer; la generalización examina hasta dónde se extiende ese éxito en situaciones nuevas.
• En la definición de Chollet, la eficiencia de adquisición se interpreta teniendo en cuenta los conocimientos previos, la experiencia y la dificultad de las tareas.
• Hay que describir la novedad: un cambio de presentación, una combinación nueva, una regla desconocida o una transferencia entre ámbitos.
• Una medición informativa documenta las demostraciones, los intentos, las herramientas, el cómputo y las intervenciones humanas.
• Ninguna puntuación aislada permite atribuir al sistema todas las capacidades asociadas con la inteligencia humana.

Páginas relacionadas

• generalización
• inteligencia fluida
• ARC-AGI
• benchmark

Preguntas frecuentes

¿Qué diferencia hay entre generalización y memorización en IA?

La memorización recupera información que el sistema ya ha encontrado. La generalización aplica lo aprendido a un caso nuevo. Para distinguirlas mediante un experimento, hacen falta pruebas cuya solución no pueda recuperarse directamente de los datos a los que tiene acceso el sistema.

¿Basta con generalizar para hablar de AGI?

Depende de la definición adoptada y de la variedad de tareas consideradas. La capacidad de transferir lo aprendido dentro de un ámbito limitado no demuestra una inteligencia general. También hay que examinar la fiabilidad, el aprendizaje y la adaptación en situaciones diversas.

¿Puede un modelo generalizar sin modificar sus parámetros?

Sí: los ejemplos incluidos en el contexto pueden orientar su comportamiento ante una tarea nueva sin necesidad de volver a entrenar sus parámetros. Después hay que comprobar si esa adaptación se mantiene en casos distintos de los que se le mostraron.

¿Una buena puntuación en ARC-AGI demuestra una inteligencia humana?

Demuestra un rendimiento en las condiciones concretas de la evaluación. No acredita una equivalencia global con las capacidades humanas ni garantiza la fiabilidad en otro entorno. El protocolo, los recursos y la exposición previa a las tareas siguen siendo determinantes.

¿Hay que eliminar todos los conocimientos previos para medir la inteligencia?

No: para interpretar una tarea siempre hacen falta ciertos conocimientos o convenciones. Lo que se busca es hacer explícitos esos requisitos y evitar que una preparación específica para obtener las respuestas se confunda con la capacidad de adaptación.