Los límites del aprendizaje profundo: qué hacen mal los modelos, según François Chollet y otros investigadores

El aprendizaje profundo puede alcanzar un rendimiento elevado y seguir siendo frágil cuando cambian las reglas, hay que combinar competencias o una respuesta exige una verificación independiente. François Chollet analiza esta dificultad distinguiendo entre las competencias adquiridas y la eficiencia para aprender una tarea nueva; otros investigadores estudian los atajos estadísticos, la causalidad o las arquitecturas capaces de planificar. Estos trabajos documentan dificultades y proponen vías de investigación, sin demostrar que todas las redes neuronales se enfrenten a una barrera definitiva.

¿De qué límites estamos hablando?

El aprendizaje profundo aprende representaciones a partir de datos mediante el ajuste de los parámetros de redes neuronales. No se limita a los asistentes conversacionales ni a la predicción de texto: las modalidades, los objetivos y las arquitecturas varían. Por tanto, una crítica a un modelo de lenguaje no se aplica automáticamente a todo el campo.

Conviene distinguir varios niveles. Una arquitectura puede permitir representar una solución y, aun así, su entrenamiento puede no encontrarla. También puede aprender una solución a costa de demasiados datos o recursos de cálculo. Por último, un sistema puede acertar con frecuencia sin ofrecer la fiabilidad que necesita su aplicación.

La palabra límite abarca, por tanto, observaciones diferentes:

• un error observado en una tarea y un protocolo concretos;
• una debilidad recurrente en distintas condiciones;
• un coste que hace poco práctico el método;
• una imposibilidad demostrada bajo supuestos explícitos.

Pasar del primer nivel al último exige una justificación. Que un asistente falle al resolver un problema no demuestra una imposibilidad matemática. Del mismo modo, demostrar que una red podría calcular teóricamente una función no prueba que un entrenamiento con recursos realistas consiga que la aprenda.

Esta página se centra en los límites de generalización y fiabilidad. Complementa el especial sobre AGI e investigación, donde las cuestiones de medición se tratan por separado de las previsiones. Los ejemplos prácticos que aparecen a continuación son situaciones hipotéticas destinadas a precisar los criterios de evaluación; no son resultados experimentales.

François Chollet: distinguir entre competencia e inteligencia

En On the Measure of Intelligence, publicado en noviembre de 2019, François Chollet propone definir la inteligencia por la eficiencia con la que se adquieren competencias. Su análisis exige tener en cuenta los conocimientos previos, la experiencia disponible y la dificultad de generalización. Una puntuación alta informa sobre una competencia; por sí sola, no basta para medir la capacidad de aprender.

Esta distinción cambia la interpretación de una demostración. Un sistema que resuelve una tarea después de una preparación considerable y otro que descubre la regla con pocos ejemplos pueden llegar a la misma respuesta. El resultado final oculta entonces las diferencias en los recursos necesarios y en la adaptación que ha exigido la tarea.

Este enfoque no exige aprender sin conocimientos previos. Pide que esos conocimientos se hagan explícitos en la medida de lo posible. Para comparar sistemas, hay que examinar qué información recibieron, con qué se habían encontrado antes y qué tuvieron que descubrir durante la prueba.

El artículo On the Measure of Intelligence explicado de forma sencilla presenta esta propuesta paso a paso. La consecuencia práctica es medir tanto la transferencia como el resultado: mantener los elementos conocidos, modificar una regla relevante y observar cómo se adapta el sistema.

Esta definición es un marco de investigación, no una definición de inteligencia aceptada universalmente. Tampoco aporta, por sí misma, una prueba de imposibilidad sobre el aprendizaje profundo. Sobre todo, obliga a tomar una precaución: no confundir la amplitud de las competencias ya adquiridas con la facilidad para adquirir otras nuevas.

Generalizar más allá de las semejanzas conocidas

La generalización es la capacidad de resolver casos que van más allá de los ejemplos de entrenamiento. Sin embargo, hay distintos grados de novedad. Procesar otra fotografía en condiciones conocidas no exige la misma transferencia que aplicar una regla a una combinación de objetos que nunca se ha visto.

Una división aleatoria de los datos puede dejar semejanzas importantes entre el conjunto de entrenamiento y el de prueba. En ese caso, el modelo se evalúa con ejemplos nuevos, pero no necesariamente con una estructura de problema nueva. Para poner a prueba una transferencia más exigente, se pueden reservar entornos, familias de tareas o combinaciones completas para la evaluación.

En Shortcut Learning in Deep Neural Networks, publicado inicialmente en 2020, Robert Geirhos y sus coautores describen reglas de decisión que funcionan en las evaluaciones habituales, pero se transfieren mal cuando las condiciones se vuelven más difíciles. Este fenómeno de los atajos estadísticos ayuda a entender por qué una buena puntuación puede coexistir con una fragilidad práctica.

Imagine un clasificador de documentos que asocia el fondo de una página con una categoría. Podría funcionar con los archivos disponibles y fallar después de un cambio de escáner. Para examinar esa hipótesis, usted mantendría el contenido y modificaría el fondo; después, haría la prueba inversa.

La lección afecta al protocolo: varíe lo que no debería cambiar la respuesta. También debe probar modificaciones que sí deberían cambiarla. Un modelo robusto tiene que ignorar ciertas diferencias y seguir siendo sensible a otras; por eso, la mera estabilidad de las respuestas no basta.

Combinar competencias y sostener un razonamiento

Saber resolver las partes de un problema no garantiza resolver su combinación. Un asistente puede encontrar por separado información útil y después relacionarla de manera incorrecta. La evaluación debe distinguir entre la disponibilidad de los conocimientos, la descomposición de la tarea y la elaboración de la respuesta final.

Ofir Press y sus coautores estudian esta diferencia en Measuring and Narrowing the Compositionality Gap in Language Models, presentado en 2022. En los modelos examinados, observan una brecha entre el éxito al responder las preguntas parciales y el obtenido con la pregunta compuesta. También muestran que los métodos de descomposición explícita pueden reducir esa brecha.

Estos resultados históricos no describen automáticamente los modelos disponibles en octubre de 2026. Aportan un método de análisis que sigue siendo pertinente: comprobar los resultados parciales, cómo se combinan y qué efecto tiene una ayuda estructurada. Una mejora obtenida gracias al protocolo revela tanto una capacidad aprovechable como una dependencia de esa asistencia.

La dificultad tiene consecuencias operativas en una tarea larga. Una hipótesis inicial equivocada puede orientar los pasos siguientes, aunque cada uno parezca coherente por separado. Por eso, al poner a prueba un agente, resulta útil mantener puntos de control sobre los datos, las hipótesis y el estado del trabajo.

Una calculadora o un intérprete pueden hacer más fiable una operación concreta. No validan la elección de esa operación ni la pertinencia de los datos recibidos. Los controles deben abarcar tanto los pasos intermedios como el objetivo final, con un criterio de éxito definido antes de la ejecución.

Correlación, causalidad y modelos del mundo

Predecir una observación y anticipar el efecto de una intervención son problemas distintos. La asociación entre dos variables no basta para determinar qué ocurriría si se modificara deliberadamente una de ellas. Esta distinción afecta, en particular, a los sistemas utilizados para recomendar acciones.

En Towards Causal Representation Learning, publicado en 2021, Bernhard Schölkopf, Yoshua Bengio y sus coautores relacionan la causalidad con las dificultades de transferencia y generalización. También destacan el problema de descubrir variables causales pertinentes a partir de observaciones, en lugar de dar por hecho que esas variables ya están disponibles.

Un ejemplo hipotético: los plazos largos y las reclamaciones pueden aparecer juntos en los registros de una empresa. Esa observación no basta para predecir el efecto de un cambio organizativo. Es necesario examinar, entre otras cosas, los factores comunes, los mecanismos supuestos y las condiciones en las que se generaron los datos.

Un modelo de lenguaje puede ayudar a formular esas hipótesis o a explicar un razonamiento causal. Eso no le da acceso a los datos de intervenciones que faltan en la documentación. Una respuesta convincente no sustituye la identificación del mecanismo ni los datos necesarios para distinguir entre explicaciones alternativas.

Los modelos del mundo constituyen una vía cercana: aprender representaciones que permitan anticipar las consecuencias de las acciones. El reto va más allá de generar una descripción plausible. Para planificar, un sistema necesita predicciones suficientemente fiables en los horizontes temporales relevantes y debe detectar cuándo sus representaciones dejan de ajustarse a la situación.

Decir la verdad y reconocer la incertidumbre

La calidad de la redacción no certifica la veracidad. Cuando un sistema produce una referencia, un cálculo o una explicación, la pregunta útil es cómo se puede comprobar lo que afirma. Una alucinación resulta especialmente difícil de detectar cuando aparece dentro de una respuesta que, por lo demás, es correcta.

Aun así, conviene evitar la afirmación de que los modelos son incapaces de evaluar sus respuestas. En Language Models Mostly Know What They Know, publicado en 2022, Saurav Kadavath y sus coautores obtienen resultados alentadores de autoevaluación y calibración en determinados formatos. También observan dificultades de calibración al abordar tareas nuevas.

La calibración describe la correspondencia entre la confianza declarada y la frecuencia real de aciertos. Se mide sobre un conjunto de casos; no garantiza que una respuesta concreta sea correcta. Por tanto, un método calibrado en un contexto no debe considerarse validado para todos los demás.

Para trabajar con documentación, usted puede exigir fragmentos que justifiquen la respuesta y comprobar si respaldan exactamente la afirmación. Si se trata de un cálculo, puede revisar los datos de entrada y repetir la operación de forma independiente. Cuando falta información, abstenerse de responder debe ser un resultado aceptable dentro del proceso.

Pedir al sistema que revise su respuesta puede formar parte del procedimiento. Para una decisión importante, prevea también una comprobación que aporte información distinta: una fuente primaria, una prueba ejecutable, una restricción formal o una revisión humana. Repetir la misma pregunta no constituye, por sí solo, una validación independiente.

Qué demuestra el aumento de escala y qué deja sin resolver

Las críticas al aprendizaje profundo deben contrastarse con los resultados favorables al aumento de recursos. En Scaling Laws for Neural Language Models, publicado en enero de 2020, Jared Kaplan y sus coautores describen relaciones empíricas entre la pérdida de predicción, el tamaño de los modelos, los datos y el cálculo utilizado durante el entrenamiento.

Estas observaciones respaldan el interés por estudiar métodos capaces de aprovechar más recursos. Su alcance sigue limitado a las medidas y condiciones examinadas. Una mejora en la predicción no demuestra automáticamente fiabilidad operativa, capacidad causal ni una adaptación eficiente a cualquier tarea nueva.

También sería excesivo convertir un fallo antiguo en un techo permanente. Los datos, los objetivos de entrenamiento, las arquitecturas y los procedimientos de inferencia pueden evolucionar. Por eso, cualquier afirmación sobre una incapacidad actual debe identificar el sistema evaluado, las ayudas permitidas y la fecha de la observación.

El desacuerdo puede estar en la naturaleza de los cambios necesarios. Una postura busca mejoras dentro de métodos neuronales más generales. Otra prioriza añadir mecanismos explícitos de búsqueda, representación o verificación. Estas orientaciones no siempre se excluyen al llevarlas a la práctica.

La ley de escalado debe entenderse como una relación empírica asociada a una medida, no como una promesa universal. Para tomar una decisión práctica, compare la mejora obtenida con una cantidad fija de recursos y examine después si afecta a los errores que realmente le preocupan.

Investigadores que no proponen la misma solución

Los diagnósticos coinciden en parte, pero los programas de investigación difieren. François Chollet sitúa en el centro de su propuesta la eficiencia para adquirir competencias nuevas. Los trabajos sobre representaciones causales se centran más en los mecanismos que permitirían transferir conocimientos cuando cambian las condiciones.

Yann LeCun presenta otra orientación en A Path Towards Autonomous Machine Intelligence, publicado en junio de 2022. Este documento de posición propone, entre otros elementos, modelos predictivos del mundo, representaciones abstractas y planificación jerárquica. Describe un programa de investigación basado en el aprendizaje, no una demostración de un sistema general ya terminado.

Enfoque	Pregunta central	Vía estudiada	Validación necesaria
Marco de Chollet	¿Con qué eficiencia se adquiere una competencia nueva?	Medir la experiencia, los conocimientos previos y la transferencia	Éxito en tareas inéditas con recursos especificados
Representaciones causales	¿Qué mecanismos siguen siendo pertinentes cuando cambian las condiciones?	Aprender variables y relaciones causales	Predicciones contrastadas con intervenciones o cambios controlados
Programa de LeCun	¿Cómo aprender a predecir y planificar?	Modelos del mundo y representaciones jerárquicas	Consecuencias de acciones y planes evaluados en el entorno
Trabajos sobre escalado	¿Cómo evoluciona una medida al variar los recursos?	Ajustar modelos, datos y cálculo	Relaciones empíricas reproducidas dentro de su ámbito de validez

Estas posturas no forman dos bandos homogéneos. Un modelo del mundo puede ser neuronal; una red puede guiar la búsqueda de un programa. La guía sobre síntesis de programas detalla esta relación entre el aprendizaje y la búsqueda de soluciones explícitas.

El reto experimental consiste en precisar qué aporta cada componente, con qué recursos y en qué tareas. Una propuesta de arquitectura resulta convincente cuando produce una transferencia medible, más allá de la intuición que la motiva.

ARC: hacer más observable la novedad

La presentación oficial de ARC-AGI vincula el benchmark con la medición de la adquisición de competencias en tareas desconocidas. También explicita el papel de los conocimientos previos. Su interés metodológico consiste en preguntar qué aprende el sistema a partir de la tarea propuesta, en lugar de observar únicamente lo que ya sabe hacer.

Para interpretar una evaluación, hay que distinguir el modelo del conjunto de procedimientos y componentes que lo rodean. Los ejemplos adicionales, la búsqueda de soluciones, los intentos repetidos o un procedimiento de selección modifican los recursos disponibles. El resultado corresponde a todo ese conjunto, con sus condiciones de ejecución.

Un protocolo debería especificar, entre otras cosas:

• los datos utilizados para preparar el sistema;
• la información accesible durante la evaluación;
• las operaciones de búsqueda y selección permitidas;
• los recursos consumidos para obtener la respuesta;
• las condiciones necesarias para reproducir el resultado.

Estas precisiones no buscan descalificar a los sistemas que utilizan herramientas. Permiten comparar resultados obtenidos en condiciones comparables e identificar de dónde procede una mejora. La competencia del sistema completo puede ser útil aunque no provenga únicamente del modelo.

Sin embargo, ningún benchmark cubre todas las capacidades necesarias en una organización o un entorno físico. Para relacionar una medición pública con sus necesidades, el artículo Cómo interpretar las clasificaciones de modelos ayuda a examinar el alcance, la posible contaminación de los datos y las diferencias entre protocolos.

Evaluar estos límites en un uso real

Para decidir si un sistema es adecuado, convierta cada preocupación en una prueba observable. En lugar de preguntar si entiende las facturas en general, defina los campos que debe extraer, las ambigüedades que debe señalar y los errores que deben detener el procesamiento. La guía de evaluación de agentes de IA desarrolla este método.

Prepare primero casos representativos y, después, variaciones controladas. Cambie la presentación sin cambiar el significado; introduzca una excepción que modifique la respuesta; retire un dato imprescindible. Así podrá distinguir entre la sensibilidad al formato, la dificultad para aplicar una regla y la falta de información.

En las tareas largas, mida tanto el éxito completo como los puntos en los que falla el proceso. Compruebe también la recuperación tras un error: ¿detecta el sistema un resultado incoherente, reconsidera su hipótesis y se detiene cuando faltan elementos? Una respuesta final correcta puede ocultar un proceso difícil de reproducir.

Compare después varias configuraciones con los mismos casos y un presupuesto explícito. La extracción mediante reglas, un modelo por sí solo y un sistema con búsqueda documental responden a restricciones distintas. El coste que debe considerar incluye también la verificación, los nuevos intentos y los errores que pasan inadvertidos.

Los registros de ejecución pueden examinarse con herramientas de observabilidad como Langfuse. Es necesario relacionarlos con criterios de resultado y con un análisis de los fallos: registrar los pasos no basta para determinar si son correctos.

Puntos clave

• Una puntuación mide el rendimiento en unas condiciones concretas; por sí sola, no revela la eficiencia del aprendizaje.
• Los atajos estadísticos, la composición, la causalidad y la calibración requieren evaluaciones distintas.
• Los trabajos de François Chollet, los investigadores en causalidad y Yann LeCun proponen marcos diferentes, a veces compatibles.
• Los datos, el cálculo, las herramientas y los mecanismos de verificación forman parte del sistema que se compara.
• La decisión de utilizar un sistema debe basarse en pruebas representativas, variaciones controladas y criterios explícitos para detener el proceso.

---

Páginas relacionadas

• Hugging Face
• Langfuse
• Arize Phoenix

Preguntas frecuentes

¿Puede el aprendizaje profundo aprender algo más que los ejemplos que recibe?

Sí: aprender implica trasladar lo aprendido a ejemplos nuevos. La dificultad está en determinar hasta dónde funciona esa transferencia cuando cambian las reglas, las combinaciones o las condiciones de observación. Por eso, una evaluación debe especificar qué novedad introduce.

¿Las críticas de François Chollet significan que los LLM no sirven?

No. Su distinción entre las competencias adquiridas y la eficiencia para aprender permite reconocer la utilidad de un sistema sin atribuirle por ello inteligencia general. Una herramienta puede aportar una utilidad medible y, al mismo tiempo, necesitar un entrenamiento considerable y un contexto de uso acotado.

¿Puede una red neuronal representar un algoritmo?

Sí, según su arquitectura y las condiciones de aprendizaje. Eso no garantiza que el entrenamiento descubra el algoritmo buscado ni que lo ejecute correctamente con entradas más largas. Hay que distinguir entre capacidad de representación, aprendizaje y fiabilidad de ejecución.

¿Los sistemas híbridos resuelven las limitaciones del aprendizaje profundo?

Pueden trasladar ciertas operaciones a componentes verificables, como un intérprete o un motor de restricciones. Sin embargo, la elección del programa, los datos y el criterio de validación sigue expuesta a errores. El conjunto debe evaluarse como un sistema completo.

¿Cómo se identifica una limitación persistente de la IA?

Un fallo repetido en varios modelos y protocolos es un indicio, no una demostración universal. Una limitación teórica exige supuestos explícitos y una prueba. Para tomar una decisión práctica, el criterio relevante sigue siendo la fiabilidad observada en las condiciones de uso previstas.