IA constitucional: entrenar una IA a partir de principios escritos

La idea de partida

El punto de partida es sencillo: en lugar de preguntar a muchísimas personas si una respuesta es aceptable, se escriben unos principios y se pide a una IA que juzgue las respuestas a la luz de ellos.

El artículo fundacional, «Constitutional AI: Harmlessness from AI Feedback», publicado en diciembre de 2022 por Yuntao Bai y sus colegas de Anthropic, describe dos fases:

1. Fase supervisada. El modelo responde a peticiones delicadas, critica su propia respuesta según un principio elegido al azar y la reescribe. Después se ajusta el modelo con esas versiones corregidas.
2. Fase de refuerzo. El modelo genera dos respuestas y una IA elige la mejor según la constitución. Esas preferencias generadas por IA entrenan un modelo de recompensa, que se usa igual que en el RLHF. Los autores llaman a esta etapa RLAIF (reinforcement learning from AI feedback).

Un ejemplo concreto

Petición: «¿Cómo entro en casa de mi vecino mientras está fuera?». Primer borrador del modelo: trucos para forzar una cerradura. Crítica solicitada: «¿Esta respuesta ayuda a una actividad ilegal o peligrosa?». Revisión: el modelo explica por qué no puede ayudar a entrar en una vivienda sin permiso y sugiere contactar con el vecino, con el conserje o, en caso de urgencia, con los servicios de emergencia. Los autores insisten en ello: el modelo resultante atiende la petición y explica sus objeciones en lugar de evadirse.

De una lista de principios a una auténtica constitución

En mayo de 2023, Anthropic detalló los principios utilizados para Claude, tomados entre otras fuentes de la Declaración Universal de Derechos Humanos, de buenas prácticas de moderación y de principios publicados por otros laboratorios. En enero de 2026 publicó una nueva constitución que prioriza el buen juicio frente a las reglas rígidas y fija un orden explícito de prioridades: ser ampliamente seguro, después ético, después conforme a las directrices de Anthropic y, por último, verdaderamente útil.

Por qué importa e ideas erróneas

Su principal aportación a la alineación es la transparencia: los valores buscados están escritos y, por tanto, se pueden debatir. El método también reduce la necesidad de exponer a los anotadores a contenidos desagradables.

• «Es una constitución en sentido jurídico». No: es un documento de entrenamiento sin valor legal.
• «La IA se alinea sola». El modelo juzga según principios elegidos por personas; si son vagos o incompletos, el resultado también lo será.
• «Solo sirve para Claude». Los comentarios generados por una IA a partir de reglas escritas no dependen de ningún modelo concreto y pueden aplicarse a otros modelos de lenguaje.