ORPO, KTO, SimPO e o zoológico do alinhamento

01 · Conceito

Conceito

Seu produto registra 200.000 eventos de polegar para cima e polegar para baixo por mês. Não pares — vereditos individuais sobre respostas individuais, a maioria delas para prompts que ninguém mais enviou. A DPO quer uma resposta escolhida e uma rejeitada para o mesmo prompt, então para usar esses dados você teria de inventar pareamentos, o que significa ou descartar a maior parte dos eventos ou fabricar comparações que ninguém fez. Esta é a situação concreta que produziu o zoológico do alinhamento: não uma busca por uma função de loss melhor, mas uma série de respostas a “que feedback eu de fato tenho, e o que eu posso me dar ao luxo de manter em memória enquanto aprendo com ele?”

Quatro perguntas organizam todo método do zoológico. Qual é a unidade de feedback — um par, ou uma resposta rotulada isolada? Como uma resposta inteira é pontuada — log-probabilidade somada, log-probabilidade média, chances? O que ancora a policy — um modelo de referência congelado, uma margem fixa, um termo supervisionado, nada? E para onde o objetivo empurra — uma margem ampliada, uma margem-alvo, uma verossimilhança mais uma penalidade? Explicitadas essas quatro, os acrônimos deixam de ser moda e viram escolhas de projeto que você pode testar.

O ORPO (Odds Ratio Preference Optimization) junta dois sinais num único estágio de treino. Um termo supervisionado eleva a verossimilhança da resposta escolhida exatamente como o SFT faria; um termo de preferência compara as chances das respostas escolhida e rejeitada sob a policy e penaliza a rejeitada. Não há nenhum segundo modelo congelado em lugar algum do objetivo, e é isso que “sem referência” significa; “monolítico” se refere a colapsar o pipeline usual de SFT-depois-alinhamento num único estágio. O projeto responde diretamente ao fenômeno que a lição 6.6 examinou: uma loss puramente de preferência pode ampliar a margem enquanto a própria verossimilhança da resposta escolhida afunda. O termo supervisionado do ORPO segura um piso embaixo dela. Em troca, o peso entre os dois termos passa a fazer parte da sua especificação comportamental — imitação demais embota a preferência, pressão de rejeição demais distorce a verossimilhança.

O KTO (Kahneman-Tversky Optimization) muda a interface de dados em vez da âncora, e é a resposta para os 200.000 polegares. Ele consome exemplos rotulados como desejáveis ou indesejáveis sem exigir duas respostas ao mesmo prompt. Sua motivação vinda da teoria do prospecto importa na prática: ganhos e perdas são avaliados contra um ponto de referência e podem ser ponderados de forma assimétrica, então um polegar para baixo pode contar mais que um polegar para cima, que costuma ser o que você quer de feedback de produto. Mas dado não pareado não é dado sem viés. Usuários escolhem o que avaliar, eventos positivos e negativos chegam de populações de prompt diferentes, e a antipatia de uma pessoa é sobre tom enquanto a de outra é sobre um número errado. Registre propensão, fonte, locale, tarefa, versão do modelo e o próprio widget de feedback, ou o objetivo vai aprender seu mecanismo de seleção em vez das preferências dos seus usuários.

O SimPO remove o modelo de referência e usa como recompensa implícita uma log-probabilidade escalada e normalizada pelo comprimento:

A loss pareada treina para que a recompensa escolhida supere a rejeitada por uma margem-alvo $\gamma$. A escala $\beta$ controla a força das diferenças de recompensa; nenhum dos dois parâmetros é uma restrição de policy de referência. Percorra o que a normalização por comprimento faz com $\beta=1$, porque não é um ajuste cosmético. Tome duas respostas ao mesmo prompt. A resposta A tem 40 tokens com log-probabilidade somada de $-60$. A resposta B tem 200 tokens com log-probabilidade somada de $-240$. Sob a pontuação somada, A pontua $-60$ e B pontua $-240$, então A vence com folga. Sob a normalização do SimPO, A tem média $-1.5$ por token e B tem média $-1.2$, então B vence. As mesmas duas respostas, o mesmo modelo, ordenação oposta — produzida inteiramente pela escolha da redução. Nenhuma das duas é “correta”; elas codificam crenças diferentes sobre se uma resposta longa deve ser penalizada pelo comprimento. É por isso que a interação com a política de truncamento e com a verbosidade desejada precisa ser avaliada nos seus dados, e não presumida de um artigo.

Aqui vem o desvio clássico. Alguém circula uma tabela mostrando o SimPO batendo a DPO por quatro pontos num benchmark de chat, e o time adota SimPO. Seis semanas depois ele tem desempenho pior que o antigo treino com DPO. O que deu errado é que a tabela comparava duas receitas, não dois objetivos: checkpoints base diferentes, datasets de preferência diferentes, geradores de candidatos diferentes, chat templates diferentes, learning rates diferentes, filtros de comprimento diferentes. O objetivo era uma de uma dúzia de variáveis que se moveram. Para escolher de verdade, fixe todo o resto — mesmo modelo base, mesmos pares, mesmo template, mesmo orçamento de computação, mesma avaliação — e mude só a loss. Esse experimento é chato, sem glamour, e é o único que responde à pergunta.

O argumento de memória que motivou vários desses métodos merece um segundo olhar à luz da lição 6.6. Segurar uma referência congelada ao lado de uma policy treinável é genuinamente caro quando as duas são checkpoints completos de classe 27B a 54 GB cada. Mas se você já está treinando adapters LoRA sobre um backbone quantizado, a referência é um forward pass com os adapters desligados — uma cópia dos pesos, nenhuma memória extra. Nessa montagem, os métodos sem referência perdem a maior parte da sua vantagem de manchete, e você deveria escolher entre eles por motivos comportamentais: o objetivo segura um piso embaixo da verossimilhança da escolhida? Ele consome o feedback que você de fato coleta? Ele normaliza comprimento do jeito que seu produto precisa?

Então a decisão começa pelo contrato de dados, não pelo leaderboard. Pares confiáveis mais uma referência acessível fazem da DPO uma linha de base forte. Só feedback binário faz da interface do KTO a que serve. Um teto rígido de memória sem o truque dos adapters disponível torna ORPO ou SimPO atraentes. Depois compare contra SFT simples e contra baselines específicas da tarefa com dados idênticos, porque uma fração surpreendente das vitórias de otimização por preferência evapora contra um treino supervisionado bem ajustado.

A lição durável não são os acrônimos. Mapeie todo objetivo sobre unidade de feedback, escore da resposta, âncora e alvo de otimização, e o zoológico deixa de ser um desfile de nomes e vira um conjunto pequeno de escolhas testáveis — a maioria das quais você resolve numa tarde com os seus próprios dados.