Interpretabilidad: abrir la caja negra de los modelos de IA
La interpretabilidad es el campo de investigación que intenta entender cómo llega realmente un modelo de IA a su respuesta, examinando sus cálculos internos y no lo que dice de sí mismo. Es un tema de especialistas, pero condiciona la confianza que se puede depositar en los sistemas más potentes.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|
De qué se trata
En una frase: la interpretabilidad intenta leer «la mente» de un modelo. Un gran modelo de lenguaje es una red neuronal formada por miles de millones de números ajustados durante el entrenamiento; nadie los escribió a mano y nadie sabe de entrada qué codifican. La interpretabilidad mecanicista busca, en las activaciones de un Transformer, conceptos (features) y las cadenas de cálculo que los conectan (circuitos).
El obstáculo principal es que una neurona aislada casi nunca representa una sola idea. Se activa con varios conceptos sin relación, porque el modelo «superpone» más conceptos que neuronas tiene. Por eso los investigadores recurren al aprendizaje de diccionario (autoencoders dispersos) para reconstruir unidades más legibles. En el estudio «Towards Monosemanticity», publicado por Anthropic en octubre de 2023, este método reveló en un modelo pequeño features dedicadas, por ejemplo, a secuencias de ADN, lenguaje jurídico o peticiones HTTP.
Un ejemplo concreto
En trabajos publicados en marzo de 2025 sobre el rastreo de los «pensamientos» de Claude, Anthropic describe grafos de atribución que siguen el recorrido de un cálculo. Dos hallazgos llamativos: para escribir un verso con rima, el modelo elige la rima de destino antes de redactar la línea; para sumar, combina en paralelo una estimación aproximada y un cálculo exacto de la última cifra, aunque, si se le pregunta, describe el método escolar de «llevarse una».
Por qué importa
- Seguridad y alineación: comprobar que un modelo no persigue un objetivo oculto exige mirar sus mecanismos, no solo sus respuestas.
- Diagnóstico: entender por qué un modelo produce una alucinación o cede a una manipulación ayuda a corregir la causa.
- Complemento de las pruebas: el red teaming observa el comportamiento desde fuera; la interpretabilidad intenta explicarlo desde dentro.
Ideas falsas habituales
- «El razonamiento que muestra es lo que piensa el modelo.» No está garantizado: la explicación escrita puede diferir del cálculo real.
- «Ya se puede leer todo.» Los análisis cubren fragmentos de comportamiento, con un coste elevado, y todavía no abarcan un modelo completo.
- «Es algo puramente académico.» Estas herramientas ya aclaran comportamientos muy concretos: por qué un modelo se niega, por qué inventa una respuesta o cuándo construye un razonamiento para justificar una conclusión que se le ha sugerido.
Términos relacionados: alineación, red teaming, sesgos de la IA, IA constitucional.
Términos relacionados
- Alineación de la IA · Conjunto de investigaciones y métodos para que una IA persiga de verdad las intenciones y los valores de quienes la crean y la usan.
- Red neuronal · Programa formado por muchas pequeñas unidades de cálculo conectadas, que aprende ajustando la fuerza de las conexiones entre ellas.
- Transformer · Arquitectura de red neuronal basada en la atención, presentada en 2017, que sirve de base a casi todos los grandes modelos de lenguaje.
- Red teaming (equipo rojo) · Pruebas adversarias en las que personas u otras IA atacan a propósito un modelo para descubrir sus fallos antes de que alguien los explote.
- Sesgo de la IA · Error sistemático por el que una IA trata peor a ciertos grupos o repite estereotipos, a menudo heredado de sus datos.
- IA constitucional · Método de Anthropic en el que una IA critica y corrige sus propias respuestas según una lista escrita de principios llamada constitución.
Todo el glosario
Preguntas frecuentes
¿Es lo mismo interpretabilidad que explicabilidad?
Se usan a menudo como sinónimos. En la práctica, la explicabilidad suele referirse a explicaciones que se dan al usuario sobre una decisión, mientras que la interpretabilidad, sobre todo la llamada «mecanicista», estudia directamente los mecanismos internos de la red.
¿No basta con pedirle al modelo que explique su razonamiento?
No de forma fiable. Los trabajos publicados por Anthropic en marzo de 2025 muestran casos en los que el modelo describe un método de cálculo distinto del que usa internamente. La explicación escrita es un texto generado como cualquier otro, no una lectura de sus cálculos.
¿Qué es una «feature» en interpretabilidad?
Es una dirección en el espacio de activaciones del modelo que corresponde a un concepto identificable, como código, un idioma o una noción jurídica. Se extraen con métodos de aprendizaje de diccionario, por ejemplo autoencoders dispersos.
¿Está resuelto el problema de la interpretabilidad?
No. Los métodos actuales iluminan parte de los mecanismos, en tareas concretas y con un esfuerzo de análisis considerable. Comprender todo lo que hace un gran modelo sigue siendo un objetivo abierto de investigación.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.