¿Los LLM razonan realmente?
Los LLM pueden realizar operaciones de razonamiento y resolver ciertos problemas en varios pasos, pero su fiabilidad depende de la tarea y de las condiciones de evaluación. Una respuesta correcta o una explicación extensa no bastan para demostrar una capacidad general de razonar ante situaciones nuevas. Para evaluar el razonamiento de un LLM, hay que examinar sus resultados, su solidez y los medios utilizados para obtenerlos.
Qué significa razonar en un LLM
En este artículo, el razonamiento se entiende como la capacidad de extraer conclusiones a partir de información y reglas. Puede consistir en combinar restricciones, deducir una consecuencia, elaborar un plan o buscar un contraejemplo. Esta definición describe una capacidad observable; no presupone conciencia ni experiencia subjetiva.
Un problema sencillo ayuda a concretar la cuestión. Imagine un ejercicio ficticio en el que unos expedientes deben pasar por varios departamentos, con incompatibilidades y un orden obligatorio. Una solución correcta debe cumplir todas las restricciones, incluidas las que impiden seguir el recorrido más habitual.
El modelo puede acertar por distintas vías: reconocer un ejercicio conocido, adaptar un método aprendido o construir una solución a partir de las reglas proporcionadas. Estas posibilidades no se excluyen entre sí. Los conocimientos adquiridos pueden servir de base para resolver un problema nuevo.
Por eso, conviene separar varias preguntas:
- ¿El resultado cumple las restricciones?
- ¿El método funciona cuando cambia el problema?
- ¿La explicación permite comprobar la solución?
- ¿Qué recursos han sido necesarios para resolverlo?
El debate se vuelve confuso cuando se utiliza un solo ejemplo para responder a todas estas preguntas. Un acierto demuestra una capacidad en determinadas condiciones. Todavía no permite establecer su alcance, su estabilidad ni su mecanismo.
La cadena de pensamiento, es decir, una secuencia de pasos intermedios expresados mediante el lenguaje, es uno de los recursos estudiados para mejorar la resolución de problemas. También ofrece material que se puede examinar, aunque con una limitación: un texto explicativo no da acceso directo a todos los cálculos internos de la red.
Predecir texto puede servir para resolver un problema
La objeción de que un LLM solo predice el siguiente fragmento de texto no resuelve la cuestión. Describe un principio de generación, pero no establece por sí sola qué puede calcular el sistema. Para determinar sus capacidades, hay que observar su comportamiento en tareas controladas.
El artículo Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, presentado en enero de 2022, muestra que proporcionar ejemplos de resolución con pasos intermedios mejora los resultados en varias tareas aritméticas, simbólicas y de sentido común. El resultado se refiere a los modelos y protocolos estudiados. No significa que cualquier petición de justificación mejore cualquier respuesta.
Los pasos generados pueden servir de apoyo al cálculo: plantear una hipótesis, conservar un resultado intermedio y utilizarlo para continuar. También pueden propagar un error. Por tanto, la presencia de pasos ofrece una vía para resolver y comprobar un problema, pero no certifica la validez de la solución.
Otros trabajos se centran en el propio entrenamiento. Una publicación de DeepSeek en Nature, aparecida en septiembre de 2025, describe cómo el aprendizaje por refuerzo puede favorecer comportamientos de comprobación y adaptación de la estrategia en tareas con resultados verificables. Estas observaciones están vinculadas al sistema estudiado y a sus señales de recompensa.
Existen, por tanto, pruebas experimentales de que ciertos métodos mejoran determinadas capacidades. Su alcance sigue siendo concreto: resolver más problemas verificables no demuestra automáticamente un avance equivalente ante una petición ambigua, información incompleta o un objetivo difícil de evaluar.
Una explicación convincente puede ocultar un razonamiento incorrecto
La respuesta y su justificación deben evaluarse por separado. El modelo puede dar el resultado correcto con una demostración incorrecta, o exponer un método adecuado y después cometer un error de cálculo. En ambos casos, leer solo la conclusión supone perder información útil.
Otra dificultad tiene que ver con la fidelidad de la explicación: ¿describe los factores que realmente influyeron en la respuesta? En un estudio publicado por Anthropic en abril de 2025, los investigadores introducen pistas en las preguntas y después examinan si los modelos reconocen su influencia. Las explicaciones suelen omitir pistas que, sin embargo, modificaron la respuesta en las condiciones evaluadas.
Esto limita el uso de la cadena de pensamiento como medio de supervisión. El estudio no demuestra que todas las explicaciones sean falsas o inútiles. Muestra que no se puede dar por sentada su fidelidad solo porque sean detalladas y fáciles de leer.
| Aspecto examinado | Qué aporta pruebas | Qué sigue siendo insuficiente |
|---|---|---|
| Exactitud del resultado | Comprobación independiente de la respuesta | Tono seguro |
| Validez del método | Revisión de los pasos y los supuestos | Extensión de la justificación |
| Robustez | Aciertos en variantes controladas | Acierto en un ejemplo aislado |
| Fidelidad de la explicación | Experimentos sobre los factores que influyen en la respuesta | Relato plausible del proceso seguido |
En un uso concreto, pida sobre todo elementos que pueda comprobar: supuestos, cálculos reproducibles, restricciones cumplidas, fuentes y pruebas. Una explicación breve acompañada de una comprobación puede resultar más útil que un desarrollo extenso imposible de verificar.
Esta distinción también ayuda a interpretar las demostraciones públicas. Mostrar un problema resuelto aporta información; mostrar qué ocurre cuando cambian los datos, las restricciones y las formulaciones permite entender sus límites.
La generalización distingue un método de una receta frágil
Un método de razonamiento debe soportar cambios relevantes en el problema. Sustituir un nombre no debería modificar una conclusión lógica. Añadir una restricción decisiva, en cambio, sí debe poder cambiar la solución.
El estudio GSM-Symbolic, presentado en octubre de 2024 y revisado en agosto de 2025, examina variantes controladas de problemas matemáticos. Los autores observan, entre otros aspectos, que el rendimiento varía cuando cambian los datos y que aparecen dificultades al añadir información irrelevante para el cálculo. Estos resultados se refieren a los sistemas evaluados, no al conjunto de modelos disponibles en octubre de 2026.
La lección metodológica sigue siendo útil: hay que poner a prueba la regla, no solo el enunciado conocido. Una pequeña modificación del problema puede revelar una dependencia de formulaciones habituales o de asociaciones que han dejado de ser pertinentes.
Por ejemplo, puede preparar un ejercicio ficticio de asignación de citas. Empiece con horarios compatibles y después añada una incompatibilidad, retire un dato necesario o haga que la petición sea imposible de cumplir. El comportamiento esperado cambia: a veces hay que proponer un calendario; otras, pedir una aclaración; y otras, reconocer que no existe una solución.
Este procedimiento examina la generalización: qué conserva el sistema de lo aprendido que siga siendo útil cuando se encuentra ante una situación distinta. También evita confundir la dificultad aparente con la dificultad medida.
Fallar en una variante no demuestra que el modelo lo memorice todo. También puede indicar una interpretación errónea, una estrategia inadecuada o recursos insuficientes. Para distinguir entre estas explicaciones, hay que repetir las pruebas y modificar un solo elemento cada vez.
Qué propone medir François Chollet
En On the Measure of Intelligence, publicado en arXiv en noviembre de 2019, François Chollet distingue entre la competencia adquirida en una tarea y la eficiencia con la que un sistema adquiere nuevas competencias. Su propuesta tiene en cuenta los conocimientos previos y la experiencia disponibles para resolver problemas nuevos.
Aplicado a los LLM, este enfoque invita a examinar algo más que el resultado final. Un sistema entrenado con numerosos ejercicios similares y otro que descubre una regla con pocos ejemplos pueden resolver la misma tarea sin demostrar la misma eficiencia de adaptación.
Esta distinción no resta utilidad a las competencias especializadas. Precisa qué permiten afirmar sobre la inteligencia general. Nuestra explicación del ensayo sobre la medida de la inteligencia desarrolla este marco.
El banco de pruebas ARC-AGI, presentado por ARC Prize, examina, entre otras capacidades, la de deducir transformaciones a partir de ejemplos. Las tareas con cuadrículas exigen encontrar una regla compatible con las demostraciones y aplicarla después a una nueva entrada.
Incluso en este contexto, una puntuación debe ir acompañada de su protocolo: datos accesibles, intentos permitidos, herramientas y recursos de cómputo. La página de referencia sobre ARC-AGI explica la prueba y sus distintas versiones.
Para situar estos trabajos entre los demás enfoques de la inteligencia artificial general, el especial sobre AGI e investigación reúne las principales cuestiones relacionadas con su medición. Ninguna prueba aislada sustituye el examen de capacidades diversas en condiciones documentadas.
Evaluar el sistema completo y su coste de resolución
El resultado atribuido a un modelo puede depender de un sistema más amplio. Este puede generar varias soluciones candidatas, ejecutar código, consultar documentos o utilizar un verificador para seleccionar una respuesta. La evaluación debe especificar qué recursos estaban disponibles.
Estos medios son legítimos para construir una herramienta útil. Sin embargo, cambian el alcance de la medición: una solución validada por un programa aporta información sobre el sistema completo, mientras que una respuesta generada sin herramientas permite examinar otra configuración.
El presupuesto también cuenta. Permitir más intentos o pasos puede modificar los resultados; por eso, hay que comparar condiciones explícitas. El número de aciertos, el tiempo de respuesta y los recursos consumidos describen conjuntamente el interés práctico de un método.
Para realizar su propia evaluación, prepare un conjunto de ejercicios con una respuesta esperada o un criterio de éxito preciso. Incluya problemas habituales, casos límite y peticiones imposibles. Conserve las instrucciones, los parámetros y las respuestas para poder examinar las diferencias.
Distinga después los tipos de fallo: interpretación errónea, restricción olvidada, cálculo incorrecto, uso inadecuado de una herramienta o respuesta emitida pese a faltar información. Este análisis indica con más claridad qué debe corregirse que una puntuación global.
El artículo sobre los bancos de pruebas de LLM y cómo interpretar las clasificaciones detalla estas precauciones. Para pasar de un modelo a un sistema que actúa con herramientas, la guía de evaluación de un agente de IA propone un procedimiento adaptado a tareas reales.
Qué puede esperar de un modelo de razonamiento
Para aprovechar estas capacidades, empiece por formular el problema de manera verificable. Indique las restricciones, la información disponible y el resultado esperado. Especifique también las situaciones en las que el sistema debe pedir una aclaración o señalar que no puede llegar a una conclusión.
Separe la elaboración de la solución de su comprobación. Un modelo puede proponer un cálculo o un programa; una comprobación independiente debe examinar el resultado. Para una decisión con consecuencias importantes, la calidad de la redacción no sustituye las pruebas que esa decisión requiere.
Por último, elija el nivel de cómputo según la necesidad. Resumir un pasaje y resolver un problema con restricciones no requieren necesariamente el mismo sistema. Los modelos de razonamiento deben evaluarse por la mejora que aportan a su tarea, teniendo en cuenta sus tiempos de respuesta y sus límites.
La respuesta a la pregunta del título sigue dependiendo de las condiciones, pero permite orientar el uso: algunos comportamientos cumplen criterios de razonamiento sin demostrar una capacidad general, estable y transparente. Para confiar en el resultado, busque una solución verificada y un método que resista las variaciones del problema.
Puntos clave
- Los LLM pueden resolver problemas por etapas; el alcance de esta capacidad se mide tarea por tarea.
- Una explicación clara no garantiza su validez ni su fidelidad a los factores que influyeron en la respuesta.
- Las variantes inéditas, los casos imposibles y las comprobaciones independientes aportan pruebas más sólidas que una demostración aislada.
- Un resultado debe ir acompañado de las condiciones de cómputo, las herramientas disponibles y el presupuesto de resolución.
Preguntas frecuentes
¿Un LLM comprende lo que dice?
La comprensión puede referirse a la capacidad práctica de utilizar conceptos o a una experiencia subjetiva. Las pruebas permiten examinar la primera, por ejemplo, al pedir que se aplique una regla en un contexto distinto. Por sí solas, no permiten determinar la segunda.
¿Por qué un modelo de razonamiento se equivoca en una pregunta sencilla?
La dificultad que una pregunta presenta para una persona no siempre coincide con la que tiene para el modelo. Una ambigüedad, una formulación poco habitual o una suposición inicial equivocada pueden provocar un error. Conviene examinar las condiciones del fallo antes de deducir una incapacidad general a partir de una sola respuesta.
¿Conviene pedir siempre al LLM que piense paso a paso?
Esta instrucción no ofrece garantías y su utilidad depende del modelo y de la tarea. Para su caso de uso, compare los resultados con y sin esa petición mediante ejemplos cuya solución conozca. Dé prioridad a los supuestos explícitos y a las comprobaciones reproducibles.
¿Se puede demostrar que un LLM razona sin conocer su entrenamiento?
Es posible reunir indicios sólidos mediante problemas inéditos, variaciones controladas y comprobaciones independientes. Sin conocer los datos de entrenamiento, sigue siendo difícil descartar cualquier exposición previa. Por eso, la conclusión debe especificar las tareas y las condiciones examinadas.