ORPO, KTO, SimPO e o zoológico do alinhamento

1

Conceito

Depois que DPO mostrou que alinhamento por preferências podia parecer treinamento supervisionado de pares, muitos objetivos exploraram premissas diferentes. Os nomes se multiplicam, mas as perguntas úteis permanecem: qual formato de feedback existe? O que ancora a política? Como a resposta recebe score? O comprimento é normalizado? Exemplos escolhidos também recebem likelihood comum? É necessário um modelo de referência?

ORPO, ou Odds Ratio Preference Optimization, combina dois sinais numa etapa. O termo supervisionado aumenta a likelihood da resposta escolhida. Um termo de preferência compara odds das respostas escolhida e rejeitada sob a política, penalizando a rejeitada em relação à escolhida. O método é descrito como reference-model-free: não há segundo modelo congelado no objetivo. “Monolithic” indica a união de instruction learning e alinhamento, em vez de duas etapas separadas de SFT e preferência.

A combinação tem uma intuição útil: uma loss de preferência isolada pode empurrar a resposta rejeitada para baixo sem garantir que a escolhida continue sendo um bom alvo de linguagem. O componente supervisionado ensaia explicitamente a saída desejada. Porém, o peso entre os termos integra a especificação comportamental. Imitação demais enfraquece preferências; pressão excessiva sobre rejeições distorce likelihood.

KTO, ou Kahneman-Tversky Optimization, muda a interface de feedback. Ela aceita exemplos rotulados como desejáveis ou indesejáveis sem exigir duas respostas ao mesmo prompt. Isso ajuda quando um produto coleta eventos individuais de gostei e não gostei, em que formar pares descartaria dados ou criaria combinações arbitrárias. KTO se inspira em prospect theory: ganhos e perdas são avaliados diante de um ponto de referência e podem ter pesos assimétricos.

Dados não pareados não são automaticamente livres de bias. Usuários escolhem quais interações avaliar; eventos positivos e negativos podem vir de populações diferentes; e um dislike pode tratar de estilo enquanto outro trata de corretude. Propensity, origem, idioma, tarefa, versão do modelo e interface de feedback devem ser registrados. Sem isso, aprende-se o mecanismo de seleção, não a preferência pretendida.

SimPO remove a referência explícita e usa a log-probability da política normalizada pelo comprimento como reward implícito. Para uma resposta $y$ de comprimento $|y|$, o score se baseia em

O treinamento faz a escolhida superar a rejeitada por uma margem-alvo. A normalização enfrenta o fato de que somas de log-probabilities ficam mais negativas em sequências longas. Ela também muda o viés indutivo, portanto a interação com truncamento e prolixidade desejada precisa ser medida.

Esses métodos não são rótulos intercambiáveis sobre a mesma implementação. Treino sem referência economiza memória, mas altera a regularização. Objetivos pareados exploram comparações dentro do prompt; objetivos não pareados aproveitam feedback natural. Termos SFT combinados preservam likelihood, enquanto estágios separados permitem misturas e schedules independentes.

A escolha começa no contrato dos dados. Se há pares confiáveis e uma referência cabe na memória, DPO é um baseline forte. Se há apenas feedback binário, KTO combina melhor. Se a referência é o gargalo, ORPO ou SimPO podem atrair. Depois, compare com SFT e baselines da tarefa usando dados idênticos quando possível.

A lição durável não é decorar siglas. Mapeie cada objetivo em quatro eixos: unidade de feedback, score da resposta, âncora ou regularizador e alvo de otimização. Assim, o zoológico vira uma coleção de decisões testáveis, não um desfile de nomes da moda.