RLHF : apprendre à une IA ce que les humains préfèrent
Le RLHF (reinforcement learning from human feedback) est une méthode d'entraînement dans laquelle des personnes comparent plusieurs réponses d'un modèle, pour lui apprendre à produire celles qu'elles jugent les plus utiles et les plus sûres. C'est l'une des étapes qui ont transformé les modèles de langage bruts en assistants conversationnels.
Données au 22 octobre 2026
L'essentiel en chiffres
| Niveau | Intermédiaire |
|---|---|
| Origine | 2017 |
| Introduit par | Christiano et al. |
Une définition simple
Après le pré-entraînement, un modèle sait compléter du texte mais ne sait pas forcément répondre de façon utile. Le RLHF lui apprend ce que « bien répondre » veut dire, à partir de jugements humains. Plutôt que d’écrire la réponse idéale à chaque question, ce qui est long et difficile, on demande à des personnes de comparer plusieurs réponses et de dire laquelle est la meilleure. Comparer est beaucoup plus simple que rédiger.
Comment ça marche, en trois étapes
- Démonstrations. Des annotateurs rédigent des exemples de bonnes réponses, qui servent à un premier affinage du modèle.
- Comparaisons. Le modèle produit plusieurs réponses à une même question ; des humains les classent. Ces classements servent à entraîner un modèle de récompense, qui apprend à prédire quelle réponse un humain préférerait.
- Renforcement. Le modèle principal est ensuite entraîné à obtenir de bons scores auprès de ce modèle de récompense, tout en restant proche de son comportement initial.
Un exemple concret
À la question « Comment calmer un bébé qui pleure la nuit ? », un modèle brut peut répondre par une liste de questions de forum, une anecdote hors sujet ou un conseil péremptoire. Les annotateurs préféreront une réponse structurée, prudente, qui suggère de consulter un professionnel de santé en cas d’inquiétude. Après de très nombreuses comparaisons de ce type, le modèle adopte spontanément ce style de réponse.
Origine et rôle dans les assistants
La méthode a été décrite en 2017 par Christiano et al. dans « Deep reinforcement learning from human preferences », sur des jeux vidéo et des simulations de robots. OpenAI l’a appliquée aux modèles de langage avec InstructGPT, présenté en mars 2022 dans « Training language models to follow instructions with human feedback » : les évaluateurs y préféraient les réponses d’un modèle bien plus petit, entraîné avec RLHF, à celles de GPT-3. OpenAI indique avoir entraîné ChatGPT avec les mêmes méthodes.
Limites et idées reçues
- « Le RLHF rend le modèle honnête. » Il le rend conforme aux préférences des évaluateurs. Si ceux-ci préfèrent sans s’en rendre compte une réponse assurée ou flatteuse, le modèle apprend aussi cela : c’est une source connue de complaisance.
- « C’est la seule méthode d’alignement. » Le RLHF n’est qu’un outil parmi d’autres pour l’alignement. La DPO et l’IA constitutionnelle en sont des variantes ou des alternatives.
- « Ça ne coûte rien. » Recruter et former des annotateurs, puis vérifier la qualité de leurs jugements, représente un travail important.
Termes liés
- Modèle de récompense · Modèle auxiliaire qui attribue une note à une réponse en prédisant la préférence humaine, et sert de signal pour entraîner un autre modèle.
- DPO (optimisation directe des préférences) · Méthode d'alignement qui entraîne un modèle directement sur des paires de réponses préférée et rejetée, sans modèle de récompense séparé.
- Fine-tuning (affinage) · Poursuite de l'entraînement d'un modèle déjà entraîné sur un petit jeu d'exemples ciblés, pour l'adapter à une tâche, un style ou un format.
- Alignement de l'IA · Ensemble des recherches et méthodes visant à ce qu'une IA poursuive réellement les intentions et les valeurs de ceux qui l'utilisent.
- Pré-entraînement · Première phase d'entraînement d'un modèle de langage : il apprend à prédire la suite de textes sur un immense corpus, sans tâche précise.
- IA constitutionnelle · Méthode d'Anthropic où une IA critique et corrige ses propres réponses à partir d'une liste écrite de principes, appelée constitution.
Tout le glossaire
Questions fréquentes
Est-ce que je participe au RLHF quand je clique sur « pouce levé » ?
Vos évaluations peuvent servir à améliorer de futurs modèles, selon les conditions de l'éditeur et vos réglages. Mais le RLHF proprement dit repose surtout sur des annotateurs formés, qui comparent des réponses selon des consignes détaillées.
Le RLHF rend-il un modèle plus intelligent ?
Pas vraiment au sens des connaissances, qui viennent surtout du pré-entraînement. Il améliore la façon d'utiliser ces connaissances : suivre une consigne, choisir un ton adapté, éviter certaines réponses dangereuses.
Existe-t-il des alternatives au RLHF ?
Oui. La DPO (optimisation directe des préférences) se passe d'un modèle de récompense séparé. D'autres approches utilisent des retours produits par une IA à partir de principes écrits, comme l'IA constitutionnelle, ou des récompenses vérifiables automatiquement.
Sources des données
Données au 22 octobre 2026
Signaler une erreur
Un chiffre, une date ou une information vous semble faux ? Dites-le-nous : chaque signalement est vérifié.