RLVR: entrenar una IA con recompensas verificables
El RLVR (reinforcement learning with verifiable rewards) es un método de entrenamiento en el que el modelo solo recibe recompensa si su respuesta supera una comprobación automática: resultado matemático exacto, código que pasa sus pruebas, instrucción cumplida. Ha sido clave en el auge de los modelos de razonamiento.
Datos a 22 de octubre de 2026
Lo esencial en cifras
| Nivel | Avanzado |
|---|---|
| Origen | 2024 |
| Introducido por | Lambert et al. (Tülu 3) |
El principio
La idea es sustituir el «juez» aprendido por un corrector automático: si la respuesta es correcta, hay recompensa; si no, nada.
En el RLHF, un modelo de recompensa estima lo que preferirían las personas. Ese juez aprendido puede ser engañado: el modelo que se entrena aprende a veces a contentarlo sin responder bien de verdad. El RLVR esquiva el problema en los ámbitos donde la corrección puede comprobarse. El modelo genera varios intentos, una función de verificación asigna a cada uno una recompensa, a menudo binaria, y un algoritmo de refuerzo (PPO, GRPO, entre otros) aumenta la probabilidad de los intentos acertados.
Un ejemplo concreto
Problema: «Un tren sale a las 14:10 y llega a las 17:45. ¿Cuánto dura el trayecto?». El modelo escribe su razonamiento y da una respuesta final en un formato impuesto. Un script compara esa respuesta con la solución esperada, 3 horas y 35 minutos. Da igual que el razonamiento sea largo o corto: solo cuenta que el resultado sea exacto. En programación, la comprobación consiste en ejecutar pruebas unitarias sobre el código generado.
Origen
El nombre se propuso en noviembre de 2024 en el artículo «Tülu 3: Pushing Frontiers in Open Language Model Post-Training», de Nathan Lambert y sus colegas del Allen Institute for AI, que lo presentan como un método nuevo aplicado tras el ajuste supervisado y la DPO. En enero de 2025, DeepSeek describió el entrenamiento de DeepSeek-R1 con recompensas basadas en reglas (exactitud de la respuesta y respeto del formato), descartando a propósito los modelos de recompensa neuronales, que consideraba vulnerables al hackeo de la recompensa en un refuerzo a gran escala.
Por qué importa e ideas erróneas
El RLVR es uno de los motores de los modelos de razonamiento: recompensar únicamente el resultado correcto empuja al modelo a desarrollar largas cadenas de pensamiento, a revisarse y a corregir sus errores.
- «Una recompensa verificable no se puede engañar». Si las pruebas son incompletas, el modelo puede superarlas sin resolver el problema, por ejemplo escribiendo directamente los valores esperados en el código.
- «Funciona para todo». Los ámbitos sin comprobación objetiva (estilo, consejo, creación) encajan mal.
- «El razonamiento visible es necesariamente correcto». Solo se verifica el resultado final; un razonamiento torpe puede llegar a la respuesta correcta.
Términos relacionados
- Modelo de razonamiento · Modelo de lenguaje entrenado para «pensar» por pasos antes de responder: más lento y caro, pero más sólido en matemáticas, código y lógica.
- Modelo de recompensa · Modelo auxiliar que puntúa una respuesta prediciendo la preferencia humana y sirve de señal para entrenar a otro modelo.
- RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) · Método de entrenamiento en el que personas comparan respuestas del modelo para que aprenda a preferir las juzgadas útiles y seguras.
- Cómputo en inferencia (test-time compute) · Potencia de cálculo que gasta un modelo en el momento de responder, por ejemplo para razonar más tiempo o comparar varias soluciones.
- Cadena de pensamiento · Hacer que un modelo escriba pasos de razonamiento intermedios antes de su respuesta final, lo que ayuda en problemas complejos.
Todo el glosario
Preguntas frecuentes
¿Qué diferencia hay entre RLVR y RLHF?
En el RLHF, la recompensa procede de un modelo entrenado para imitar preferencias humanas, es decir, de un juicio. En el RLVR procede de un programa que comprueba la respuesta de forma objetiva. El RLVR es más fiable cuando existe esa comprobación, pero no sirve para todo.
¿Se puede aplicar el RLVR a la redacción de un correo?
Solo en parte. Se pueden comprobar restricciones concretas (extensión, presencia de una frase, formato), pero no la calidad global del tono o de la argumentación. Para eso se vuelve a los juicios humanos o a un modelo de recompensa.
¿El RLVR hace más inteligentes a los modelos?
Los hace mucho más fiables en tareas verificables. Aun así, hay un debate entre investigadores sobre cuánto crea capacidades realmente nuevas y cuánto hace aflorar con más regularidad capacidades que el modelo base ya tenía.
Fuentes de los datos
Datos a 22 de octubre de 2026
Señalar un error
¿Una cifra, una fecha o un dato le parece incorrecto? Díganoslo: verificamos cada aviso.