RLHF: enseñar a una IA lo que prefieren las personas
El RLHF (reinforcement learning from human feedback) es una técnica de entrenamiento en el que personas comparan varias respuestas de un modelo para que aprenda a producir las que consideran más útiles y seguras. Es uno de los pasos que convirtieron los modelos de lenguaje en bruto en asistentes conversacionales.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Intermedio |
|---|---|
| Origen | 2017 |
| Introducido por | Christiano et al. |
Una definición sencilla
Tras el preentrenamiento, un modelo sabe continuar un texto, pero no necesariamente responder de forma útil. El RLHF le enseña qué significa «responder bien» a partir del juicio humano. En lugar de redactar la respuesta ideal a cada pregunta, algo lento y difícil, se pide a personas que comparen varias respuestas y elijan la mejor. Comparar es mucho más fácil que redactar.
Cómo funciona, en tres pasos
- Demostraciones. Unos anotadores escriben ejemplos de buenas respuestas, que sirven para un primer ajuste fino del modelo.
- Comparaciones. El modelo genera varias respuestas a una misma pregunta y las personas las ordenan. Esas clasificaciones entrenan un modelo de recompensa que aprende a predecir qué respuesta preferiría una persona.
- Refuerzo. Después, el modelo principal se entrena para obtener buenas puntuaciones de ese modelo de recompensa, sin alejarse demasiado de su comportamiento inicial.
Un ejemplo concreto
Ante la pregunta «¿Cómo calmar a un bebé que llora por la noche?», un modelo en bruto puede responder con una lista de preguntas de foro, una anécdota que no viene al caso o una orden tajante. Los anotadores preferirán una respuesta ordenada y prudente, que sugiera consultar con un profesional sanitario si hay motivo de preocupación. Tras muchísimas comparaciones así, el modelo adopta ese estilo por sí mismo.
Origen y papel en los asistentes
La técnica la describieron en 2017 Christiano et al. en «Deep reinforcement learning from human preferences», con videojuegos y robots simulados. OpenAI lo aplicó a los modelos de lenguaje con InstructGPT, presentado en marzo de 2022 en «Training language models to follow instructions with human feedback»: los evaluadores preferían las respuestas de un modelo mucho más pequeño entrenado con RLHF a las de GPT-3. OpenAI indica que entrenó ChatGPT con las mismas técnicas.
Límites e ideas equivocadas
- «El RLHF hace al modelo honesto». Lo ajusta a las preferencias de los evaluadores. Si estos prefieren sin darse cuenta respuestas seguras de sí mismas o halagadoras, el modelo también lo aprende: es una fuente conocida de complacencia.
- «Es la única técnica de alineamiento». El RLHF es solo una herramienta más para el alineamiento. La DPO y la IA constitucional son variantes o alternativas.
- «No cuesta nada». Reclutar y formar anotadores, y luego verificar la calidad de sus juicios, supone un trabajo considerable.
Términos relacionados
- Modelo de recompensa · Modelo auxiliar que puntúa una respuesta prediciendo la preferencia humana y sirve de señal para entrenar a otro modelo.
- DPO (optimización directa de preferencias) · Método de alineación que entrena un modelo directamente con pares de respuestas preferida y rechazada, sin modelo de recompensa aparte.
- Ajuste fino (fine-tuning) · Continuar el entrenamiento de un modelo ya entrenado con un pequeño conjunto de ejemplos para adaptarlo a una tarea, un estilo o un formato.
- Alineación de la IA · Conjunto de investigaciones y métodos para que una IA persiga de verdad las intenciones y los valores de quienes la crean y la usan.
- Preentrenamiento · Primera fase de entrenamiento de un modelo de lenguaje: aprende a predecir la continuación de textos en un corpus enorme, sin tarea concreta.
- IA constitucional · Método de Anthropic en el que una IA critica y corrige sus propias respuestas según una lista escrita de principios llamada constitución.
Todo el glosario
Preguntas frecuentes
¿Participo en el RLHF cuando pulso «me gusta»?
Sus valoraciones pueden servir para mejorar modelos futuros, según las condiciones del proveedor y sus ajustes. Pero el RLHF propiamente dicho se basa principalmente en anotadores formados que comparan respuestas siguiendo pautas detalladas.
¿El RLHF hace que un modelo sea más inteligente?
No tanto en conocimientos, que proceden principalmente del preentrenamiento. Mejora la forma de usarlos: seguir una instrucción, elegir el tono adecuado, evitar ciertas respuestas peligrosas.
¿Hay alternativas al RLHF?
Sí. La DPO (optimización directa de preferencias) prescinde de un modelo de recompensa separado. Otros enfoques usan retroalimentación generada por una IA a partir de principios escritos, como la IA constitucional, o recompensas verificables automáticamente.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.