Reward models e dados de preferência humana

1

Conceito

Muitas qualidades desejadas num assistente são difíceis de expressar como alvo token a token. Duas respostas podem usar palavras diferentes e estar corretas; uma resposta fluente pode enganar de modo sutil; uma recusa pode ser necessária ou cautelosa demais. Dados de preferência registram um julgamento comparativo: para o mesmo prompt, uma pessoa vê respostas candidatas e escolhe qual atende melhor a uma rubrica.

Um registro típico contém prompt $x$, resposta escolhida $y^+$ e resposta rejeitada $y^-$. As candidatas devem aparecer sem pistas irrelevantes, como o nome do modelo, e sua ordem deve ser aleatória. A rubrica pode cobrir corretude, relevância, clareza, segurança, fidelidade das citações e instruction following. Avaliadores precisam marcar empates, tarefas inválidas ou falta de conhecimento; forçar uma escolha transforma incerteza em supervisão falsa.

Um reward model mapeia prompt e resposta para um escalar $r_\phi(x,y)$. Ele costuma usar um objetivo logístico de pares:

A loss se importa com diferenças de pontuação, não com uma unidade absoluta de qualidade. Somar a mesma constante às duas notas não muda nada. Depois do treinamento, o modelo avalia novas respostas, fornecendo um proxy que um otimizador de política consegue maximizar.

A coleta define o significado desse proxy. Avaliadores discordam porque um prompt é ambíguo, a rubrica é incompleta ou valores realmente divergem. Métricas de concordância ajudam, mas votação majoritária não torna objetivo um valor contestado. Domínios especializados exigem pessoas qualificadas. Dados multilíngues pedem competência nativa. Julgamentos de segurança precisam de escalonamento claro e proteção psicológica para quem encontra conteúdo nocivo.

A geração das candidatas também importa. Se toda comparação opõe uma resposta excelente a puro absurdo, o reward model aprende sinais fáceis e talvez não distinga duas respostas plausíveis. Dados on-policy, ou renovados periodicamente, amostram candidatas da política que está sendo melhorada e expõem a fronteira que ela ainda confunde. Hard negatives, exemplos adversariais e comprimentos equilibrados reduzem atalhos.

Comprimento é um viés clássico. Respostas detalhadas podem ser realmente melhores no dataset; o reward model aprende então que “mais longo é melhor” e premia prolixidade em outro contexto. Formatação, ressalvas, citações ou tom confiante viram atalhos semelhantes. Avaliações por fatias devem testar se a nota acompanha a rubrica após controlar essas propriedades superficiais.

Quando a política otimiza o reward model, ela procura saídas de alta nota prevista. Isso cria distribution shift: a política encontra regiões ausentes do treino do juiz. Erros raros podem se tornar atraentes. É um caso da lei de Goodhart: quando uma medida vira alvo, pode deixar de ser boa medida. Regularização, atualizações conservadoras, novas comparações e avaliações independentes limitam, mas não eliminam, o risco.

Acerto em pares de validação é necessário, mas insuficiente. Examine empates, discordância entre grupos, sensibilidade adversarial, distribuições das notas e correlação com sucesso medido de forma independente. Um reward model pode ranquear bem pares familiares e ainda orientar mal a otimização.

A imagem durável é a de uma jurada aprendida a partir de exemplos relativos. Sua utilidade vem de escalar um sinal humano caro para muitas saídas. Seu perigo nasce da mesma compressão: um julgamento rico e condicional vira um escalar. Toda etapa posterior precisa lembrar quais informações esse número descartou.