Modèle de récompense : le juge automatique qui guide l'entraînement
Un modèle de récompense (reward model) est un modèle auxiliaire qui attribue une note à une réponse, en prédisant à quel point des humains la jugeraient bonne. Cette note sert ensuite de signal pour entraîner le modèle principal par renforcement.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Avancé |
|---|---|
| Origine | 2017 |
| Introduit par | Christiano et al. |
Comment il fonctionne
Au départ, des annotateurs comparent deux réponses à une même consigne et indiquent la meilleure. Le modèle de récompense apprend à reproduire ces choix : il doit attribuer une note plus élevée à la réponse préférée qu’à la réponse rejetée. Techniquement, on utilise généralement une perte dite de Bradley-Terry, qui transforme l’écart entre les deux notes en probabilité que la première soit préférée.
Une fois entraîné, ce « juge » peut noter n’importe quelle nouvelle réponse. Dans le RLHF, le modèle principal génère des réponses, le modèle de récompense les note, et l’algorithme de renforcement pousse le modèle vers les réponses les mieux notées.
Origine
L’idée d’apprendre une fonction de récompense à partir de comparaisons humaines a été formalisée en 2017 par Christiano et al. dans « Deep reinforcement learning from human preferences », sur des jeux et des simulations de robots. Elle a été appliquée au langage, notamment par Stiennon et al. en 2020 pour le résumé de textes, puis par OpenAI avec InstructGPT en 2022.
Un exemple concret
Pour un assistant de cuisine, on montre aux annotateurs deux recettes de pâte à crêpes : l’une précise les quantités et le temps de repos, l’autre reste vague. Le modèle de récompense apprend que la précision est valorisée. Pendant l’entraînement, il notera mieux les recettes détaillées, et le modèle principal en produira davantage.
Limites et idées reçues
- « Le modèle de récompense connaît la vérité. » Il prédit une préférence humaine, avec ses biais : longueur, ton assuré, flatterie. Ces biais se transmettent au modèle entraîné.
- « Plus on optimise, mieux c’est. » Gao, Schulman et Hilton ont montré en 2022 qu’au-delà d’un certain point, optimiser contre un modèle de récompense dégrade la qualité réelle : c’est la loi de Goodhart, ou « piratage de la récompense ». D’où la pénalité qui maintient le modèle proche de son point de départ.
- « Il est indispensable. » La DPO s’en passe en tant que modèle séparé, et le RLVR le remplace par une vérification automatique quand la réponse peut être contrôlée.
On distingue aussi les modèles qui notent la réponse finale de ceux qui notent chaque étape d’un raisonnement, utiles pour les modèles de raisonnement.
Termes liés
- RLHF (apprentissage par renforcement à partir de retours humains) · Méthode d'entraînement où des humains comparent des réponses du modèle, pour lui apprendre à préférer les réponses jugées utiles et sûres.
- DPO (optimisation directe des préférences) · Méthode d'alignement qui entraîne un modèle directement sur des paires de réponses préférée et rejetée, sans modèle de récompense séparé.
- RLVR (renforcement avec récompenses vérifiables) · Entraînement par renforcement où la récompense vient d'une vérification automatique (réponse exacte, tests de code réussis) et non d'un jugement.
- Alignement de l'IA · Ensemble des recherches et méthodes visant à ce qu'une IA poursuive réellement les intentions et les valeurs de ceux qui l'utilisent.
- LLM comme juge (LLM-as-a-judge) · Méthode d'évaluation où un modèle de langage note ou compare les réponses d'un autre modèle, selon une grille fournie, à la place d'un humain.
Tout le glossaire
Questions fréquentes
Un modèle de récompense est-il un modèle de langage ?
Le plus souvent, oui : on part d'un modèle de langage pré-entraîné et on remplace sa sortie habituelle par une tête qui produit un seul nombre, la note. Il comprend donc le texte, mais ne génère pas de réponse.
Quelle différence avec un « LLM juge » ?
Un modèle de récompense est entraîné spécifiquement sur des données de préférence et renvoie une note chiffrée. Un LLM juge est un modèle généraliste à qui l'on demande, par une consigne, d'évaluer une réponse. Les deux rôles se recoupent de plus en plus.
Pourquoi ne pas utiliser directement des humains pour noter ?
L'entraînement par renforcement demande d'évaluer un très grand nombre de réponses, en continu. Les humains notent un échantillon ; le modèle de récompense généralise ces jugements à toutes les autres réponses, beaucoup plus vite et à moindre coût.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.