DPO: sem o reward model

1

Conceito

RLHF com PPO tem uma cadeia longa: coletar preferências, ajustar um reward model, amostrar uma política, estimar advantages, atualizar um value model, limitar a política e repetir. Direct Preference Optimization (DPO) parte de uma relação matemática entre uma política ótima regularizada por KL e seu reward. Ela reorganiza essa relação para treinar a própria política diretamente nos pares, sem ajustar um reward model explícito nem executar um loop convencional de RL.

Cada exemplo ainda contém prompt $x$, resposta preferida $y^+$ e resposta rejeitada $y^-$. DPO usa a política treinável $\pi_\theta$ e a referência congelada $\pi_{ref}$. Para cada resposta, soma log-probabilities de tokens condicionadas ao prompt. A margem relevante compara quanto a política treinável favorece cada resposta além da referência:

A loss $-\log\sigma(m)$ amplia a vantagem relativa da escolhida e reduz a da rejeitada. O coeficiente $\beta$ controla a escala dessa preferência relativa à referência na formulação padrão. Bibliotecas podem inverter ou reparametrizar a convenção; copiar um número sem conferir a definição é arriscado.

A palavra relativa é essencial. DPO não maximiza apenas a likelihood bruta da resposta escolhida. Ela pede que a política a favoreça mais do que a referência já favorecia, em comparação com a rejeitada. A referência cria uma âncora análoga à regularização KL da derivação. Se política e referência forem por engano o mesmo objeto mutável, ou se as log-probabilities usarem chat templates diferentes, o objetivo quebra.

DPO é operacionalmente atraente. O treinamento lembra supervised learning sobre sequências fixas: forward passes, coleta de log-probabilities dos tokens de resposta, loss de pares e backpropagation. Não há workers de rollout on-policy, value head aprendido ou checkpoint explícito de reward model. Isso reduz componentes e variância.

Mas “pular o reward model” não pula preferências. Permanecem discordância entre avaliadores, bias de comprimento, cobertura limitada, políticas candidatas antigas e rótulos incorretos. DPO pode memorizar atalhos de estilo. Também pode reduzir a likelihood de uma resposta rejeitada que contém trechos úteis, pois o rótulo abrange a sequência inteira e não identifica o ponto exato da falha.

Dados offline impõem outro limite. DPO padrão não amostra a política em mudança para solicitar novos julgamentos. Se ela migra para comportamento inédito, o dataset fixo não oferece feedback direto. Variantes iterativas regeneram candidatas e coletam pares, mas isso restaura um loop de produção de dados, ainda que evite PPO.

Comprimento da sequência e formas de redução merecem cuidado. Log-probabilities somadas crescem em magnitude com a quantidade de tokens; normalizações alternativas mudam incentivos. Padding deve ser mascarado, tokens do prompt excluídos da mesma forma e truncamento não pode apagar a evidência que determinou o rótulo. Registrar margens, acertos, comprimentos e divergências revela falhas silenciosas.

O modelo mental é moldagem por pares. DPO torna a resposta desejada mais característica da nova política em relação a um baseline fixo e torna a rejeitada menos característica. Ela substitui uma jurada escalar aprendida e um otimizador online por uma loss offline elegante, mas julgamentos humanos, referência e avaliação continuam sendo a especificação real.