RLVR : entraîner une IA avec des récompenses vérifiables
Le RLVR (reinforcement learning with verifiable rewards) est une méthode d'entraînement où le modèle est récompensé seulement si sa réponse passe une vérification automatique : résultat mathématique exact, code qui réussit ses tests, consigne respectée. Il a joué un rôle central dans l'essor des modèles de raisonnement.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2024 |
| Introduit par | Lambert et al. (Tülu 3) |
Le principe
L’idée est de remplacer le « juge » appris par un correcteur automatique : si la réponse est juste, récompense ; sinon, rien.
Dans le RLHF, un modèle de récompense estime ce que des humains préféreraient. Ce juge appris peut être trompé : le modèle entraîné apprend parfois à le satisfaire sans vraiment bien répondre. Le RLVR contourne le problème dans les domaines où la vérité est contrôlable. Le modèle génère plusieurs tentatives, une fonction de vérification attribue à chacune une récompense, souvent binaire, et un algorithme de renforcement (PPO, GRPO…) augmente la probabilité des tentatives réussies.
Un exemple concret
Problème : « Un train part à 14 h 10 et arrive à 17 h 45. Combien de temps dure le trajet ? » Le modèle rédige son raisonnement, puis donne une réponse finale dans un format imposé. Un script compare cette réponse à la solution attendue, 3 h 35. Peu importe que le raisonnement soit long ou court : seule l’exactitude du résultat compte. En programmation, la vérification consiste à exécuter des tests unitaires sur le code produit.
Origine
Le nom a été proposé en novembre 2024 dans l’article « Tülu 3: Pushing Frontiers in Open Language Model Post-Training » de Nathan Lambert et ses collègues de l’Allen Institute for AI, qui le présentent comme une nouvelle méthode, utilisée après l’affinage supervisé et la DPO. En janvier 2025, DeepSeek a décrit l’entraînement de DeepSeek-R1 avec des récompenses fondées sur des règles (exactitude de la réponse, respect du format), en écartant volontairement les modèles de récompense neuronaux, jugés vulnérables au piratage de la récompense lors d’un renforcement à grande échelle.
Pourquoi ça compte, et les idées reçues
Le RLVR est l’un des moteurs des modèles de raisonnement : récompenser uniquement le bon résultat pousse le modèle à développer de longues chaînes de pensée, à se relire et à corriger ses erreurs.
- « Une récompense vérifiable ne peut pas être piratée. » Si les tests sont incomplets, le modèle peut les satisfaire sans résoudre le problème, par exemple en codant en dur les valeurs attendues.
- « Ça marche pour tout. » Les domaines sans vérification objective (style, conseil, création) s’y prêtent mal.
- « Le raisonnement affiché est forcément correct. » Seul le résultat final est vérifié ; un raisonnement maladroit peut aboutir à la bonne réponse.
Termes liés
- Modèle de raisonnement · Modèle de langage entraîné à « réfléchir » par étapes avant de répondre : plus lent et plus coûteux, mais plus solide en maths, code et logique.
- Modèle de récompense · Modèle auxiliaire qui attribue une note à une réponse en prédisant la préférence humaine, et sert de signal pour entraîner un autre modèle.
- RLHF (apprentissage par renforcement à partir de retours humains) · Méthode d'entraînement où des humains comparent des réponses du modèle, pour lui apprendre à préférer les réponses jugées utiles et sûres.
- Calcul à l'inférence (test-time compute) · Puissance de calcul dépensée par un modèle au moment de répondre, par exemple pour réfléchir plus longtemps ou comparer plusieurs pistes.
- Chaîne de pensée · Façon de faire produire à un modèle des étapes de raisonnement intermédiaires avant sa réponse finale, pour mieux traiter les problèmes complexes.
Tout le glossaire
Questions fréquentes
Quelle différence entre RLVR et RLHF ?
Dans le RLHF, la récompense vient d'un modèle entraîné à imiter des préférences humaines, donc d'un jugement. Dans le RLVR, elle vient d'un programme qui vérifie objectivement la réponse. Le RLVR est plus fiable quand une vérification existe, mais ne s'applique pas à tout.
Peut-on appliquer le RLVR à la rédaction d'un e-mail ?
Seulement en partie. On peut vérifier des contraintes précises (longueur, présence d'une formule, format), mais pas la qualité globale du ton ou de l'argumentation. Pour cela, on revient à des jugements humains ou à un modèle de récompense.
Le RLVR rend-il les modèles plus intelligents ?
Il les rend nettement plus fiables sur les tâches vérifiables. Des chercheurs discutent toutefois de la part de capacités vraiment nouvelles par rapport à des capacités déjà présentes dans le modèle de base, que l'entraînement fait ressortir plus souvent.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.