DPO : apprendre les préférences humaines sans modèle de récompense

La DPO en une phrase, puis en détail

Plutôt que d’apprendre d’abord à noter des réponses, puis d’optimiser le modèle contre cette note, la DPO apprend directement à rendre la réponse préférée plus probable et la réponse rejetée moins probable.

Dans le RLHF classique, on entraîne un modèle de récompense sur des comparaisons humaines, puis on optimise le modèle principal par renforcement (souvent avec l’algorithme PPO), en le pénalisant s’il s’éloigne trop d’un modèle de référence. La DPO part de cet objectif mathématique et montre qu’il admet une solution exacte : on peut l’exprimer comme une simple perte de classification sur des paires. Le modèle compare, pour chaque paire, la probabilité qu’il attribue aux deux réponses avec celle qu’attribue le modèle de référence figé. Un hyperparamètre, noté β, règle à quel point le modèle a le droit de s’écarter de ce point de départ.

Un exemple concret

Consigne : « Résume ce contrat de location en cinq points. » Réponse A : cinq points clairs, durée, loyer, dépôt de garantie, préavis, charges. Réponse B : un long paragraphe qui recopie des clauses. Un annotateur choisit A. Après de nombreuses paires de ce type, le modèle entraîné par DPO produit spontanément des résumés structurés, sans qu’aucun « juge » séparé n’ait été entraîné.

Origine et pourquoi ça compte

La méthode a été présentée en mai 2023 par Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher Manning et Chelsea Finn, de Stanford, dans l’article « Direct Preference Optimization: Your Language Model is Secretly a Reward Model ». Les auteurs la décrivent comme plus stable et moins coûteuse en calcul que le RLHF fondé sur PPO, car elle n’a pas besoin de générer des réponses pendant l’affinage et demande peu de réglages.

Cette simplicité explique son succès dans l’écosystème des modèles ouverts : la recette Tülu 3 de l’Allen Institute for AI, par exemple, enchaîne affinage supervisé, DPO et RLVR.

Idées reçues

• « La DPO n’a rien à voir avec un modèle de récompense. » Au contraire : le titre de l’article le dit, le modèle de langage joue lui-même implicitement ce rôle.
• « Pas de renforcement, donc pas de risque de dérive. » La DPO peut sur-apprendre les particularités des données de préférence, par exemple favoriser les réponses longues si les annotateurs les ont souvent préférées.
• « Elle suffit pour l’alignement. » Elle n’apprend que ce que contiennent les paires. L’alignement d’un modèle repose aussi sur les données, les évaluations et les garde-fous.