DPO: aprender las preferencias humanas sin modelo de recompensa

La DPO en una frase y luego en detalle

En lugar de aprender primero a puntuar respuestas y después optimizar el modelo frente a esa puntuación, la DPO hace directamente más probable la respuesta preferida y menos probable la rechazada.

En el RLHF clásico se entrena un modelo de recompensa con comparaciones humanas y luego se optimiza el modelo principal por refuerzo (a menudo con el algoritmo PPO), penalizándolo si se aleja demasiado de un modelo de referencia. La DPO parte de ese mismo objetivo matemático y demuestra que tiene una solución exacta, que puede escribirse como una simple función de pérdida de clasificación sobre pares. Para cada par, el modelo compara la probabilidad que asigna a las dos respuestas con la que les asigna un modelo de referencia congelado. Un hiperparámetro, β, regula cuánto puede alejarse el modelo de su punto de partida.

Un ejemplo concreto

Instrucción: «Resume este contrato de alquiler en cinco puntos». Respuesta A: cinco puntos claros sobre duración, renta, fianza, preaviso y gastos. Respuesta B: un párrafo largo que copia cláusulas literalmente. Un anotador elige A. Tras muchos pares de este tipo, el modelo entrenado con DPO produce resúmenes estructurados por sí solo, sin que se haya entrenado ningún «juez» aparte.

Origen y por qué importa

El método se presentó en mayo de 2023, obra de Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher Manning y Chelsea Finn, de Stanford, en el artículo «Direct Preference Optimization: Your Language Model is Secretly a Reward Model». Los autores lo describen como más estable y menos costoso en cómputo que el RLHF basado en PPO, ya que no necesita generar respuestas durante el ajuste fino y exige pocos ajustes de hiperparámetros.

Esa sencillez explica su éxito en el ecosistema de modelos abiertos: la receta Tülu 3 del Allen Institute for AI, por ejemplo, encadena ajuste supervisado, DPO y RLVR.

Ideas erróneas frecuentes

• «La DPO no tiene nada que ver con un modelo de recompensa». Al contrario: como indica el título del artículo, el propio modelo de lenguaje cumple implícitamente esa función.
• «Sin refuerzo no hay riesgo de desviación». La DPO puede sobreajustarse a las particularidades de los datos de preferencia, por ejemplo favorecer respuestas largas si los anotadores las prefirieron a menudo.
• «Basta para la alineación». Solo aprende lo que contienen los pares. La alineación de un modelo depende también de los datos, las evaluaciones y las salvaguardas.