Modelo de recompensa: el juez automático que guía el entrenamiento
Un modelo de recompensa (reward model) es un modelo auxiliar que asigna una puntuación a una respuesta prediciendo hasta qué punto la valorarían las personas. Esa puntuación sirve después como señal para entrenar al modelo principal mediante aprendizaje por refuerzo.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2017 |
| Introducido por | Christiano et al. |
Cómo funciona
Primero, unos anotadores comparan dos respuestas a una misma instrucción e indican cuál es mejor. El modelo de recompensa aprende a reproducir esas elecciones: debe dar una puntuación más alta a la respuesta preferida que a la rechazada. Técnicamente se suele usar una función de pérdida de tipo Bradley-Terry, que convierte la diferencia entre ambas puntuaciones en la probabilidad de que la primera sea la preferida.
Una vez entrenado, este «juez» puede puntuar cualquier respuesta nueva. En el RLHF, el modelo principal genera respuestas, el modelo de recompensa las puntúa y el algoritmo de refuerzo empuja al modelo hacia las mejor valoradas.
Origen
La idea de aprender una función de recompensa a partir de comparaciones humanas la formalizaron en 2017 Christiano et al. en «Deep reinforcement learning from human preferences», con videojuegos y robots simulados. Después se aplicó al lenguaje, en particular Stiennon et al. en 2020 para el resumen de textos y OpenAI con InstructGPT en 2022.
Un ejemplo concreto
Para un asistente de cocina, los anotadores ven dos recetas de tortitas: una indica cantidades exactas y tiempo de reposo; la otra se queda en generalidades. El modelo de recompensa aprende que se valora la precisión. Durante el entrenamiento puntuará mejor las recetas detalladas, y el modelo principal las producirá con más frecuencia.
Límites e ideas erróneas
- «El modelo de recompensa conoce la verdad». Predice una preferencia humana, con sus sesgos: extensión, tono seguro, halagos. Esos sesgos se transmiten al modelo entrenado.
- «Cuanto más se optimiza, mejor». Gao, Schulman y Hilton mostraron en 2022 que, a partir de cierto punto, optimizar frente a un modelo de recompensa empeora la calidad real: es la ley de Goodhart, también llamada hackeo de la recompensa. De ahí la penalización que mantiene el modelo cerca de su punto de partida.
- «Es imprescindible». La DPO prescinde de él como modelo separado y el RLVR lo sustituye por una comprobación automática cuando la respuesta puede verificarse.
También se distingue entre los modelos que puntúan solo la respuesta final y los que puntúan cada paso de un razonamiento, útiles para los modelos de razonamiento.
Términos relacionados
- RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) · Método de entrenamiento en el que personas comparan respuestas del modelo para que aprenda a preferir las juzgadas útiles y seguras.
- DPO (optimización directa de preferencias) · Método de alineación que entrena un modelo directamente con pares de respuestas preferida y rechazada, sin modelo de recompensa aparte.
- RLVR (aprendizaje por refuerzo con recompensas verificables) · Aprendizaje por refuerzo en el que la recompensa procede de una comprobación automática (respuesta exacta, tests superados), no de un juicio.
- Alineación de la IA · Conjunto de investigaciones y métodos para que una IA persiga de verdad las intenciones y los valores de quienes la crean y la usan.
- LLM como juez (LLM-as-a-judge) · Método de evaluación en el que un modelo de lenguaje puntúa o compara las respuestas de otro modelo según una rúbrica, en lugar de un humano.
Todo el glosario
Preguntas frecuentes
¿Un modelo de recompensa es un modelo de lenguaje?
Normalmente sí: se parte de un modelo de lenguaje preentrenado y se sustituye su salida habitual por una capa que produce un único número, la puntuación. Entiende el texto, pero no redacta respuestas.
¿Qué diferencia hay con un «LLM juez»?
Un modelo de recompensa se entrena específicamente con datos de preferencia y devuelve una puntuación numérica. Un LLM juez es un modelo generalista al que se le pide, mediante una instrucción, que evalúe una respuesta. Ambos papeles se solapan cada vez más.
¿Por qué no recurrir directamente a personas para puntuar?
El aprendizaje por refuerzo necesita evaluar una cantidad enorme de respuestas de forma continua. Las personas puntúan una muestra y el modelo de recompensa generaliza esos juicios al resto, mucho más rápido y a menor coste.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.