Reward models e preference data humana

01 · Conceito

Conceito

Você tem duas respostas para a mesma pergunta. Uma tem 90 palavras, está correta e é um pouco seca. A outra tem 320 palavras, está correta, abre com um resumo, fecha com três ressalvas e enterra uma pequena atenuação que não é bem verdade. Qual delas o modelo deveria aprender a produzir? Não existe alvo no nível do token que você possa escrever para capturar a resposta, porque as duas são fluentes, as duas estão no tema, e a diferença vive num julgamento que ninguém codificou no texto de treino. O supervised fine-tuning não ajuda aqui: ele só consegue dizer “imite esta”, o que declara silenciosamente que toda diferença de redação da outra é um erro.

Preference data captura o julgamento comparativo diretamente. Um registro contém um prompt $x$, uma resposta escolhida $y^{+}$ e uma resposta rejeitada $y^{-}$. Os candidatos são exibidos sem pistas de identificação, como nomes de modelo, e a ordem de apresentação é aleatorizada. A rubrica pode cobrir correção, relevância, clareza, segurança, fidelidade de citação e seguimento de instruções. Revisores precisam de uma saída de emergência — empates, tarefas inválidas, expertise insuficiente — porque forçar uma preferência converte incerteza honesta em supervisão falsa e confiante.

Um reward model mapeia um prompt e uma resposta a um escalar $r_\phi(x,y)$, e é treinado com um objetivo logístico pareado:

Percorra um exemplo pela aritmética, porque o formato dessa loss explica quase tudo o que o escalar pode e não pode significar. Suponha que o modelo pontue a resposta escolhida em 1,2 e a rejeitada em 0,4. A margem é 0,8, e $\sigma(0.8)\approx 0.69$, então a loss é $-\log(0.69)\approx 0.37$. Agora some cinco aos dois escores — escolhida 6,2, rejeitada 5,4. A margem continua 0,8, então a loss continua 0,37. O otimizador é inteiramente indiferente ao nível absoluto. Empurre a margem a zero e a loss vira $\log 2 \approx 0.69$; inverta a ordenação para uma margem de $-0.8$ e ela sobe para cerca de 1,17. Todo gradiente que este objetivo produz é um gradiente sobre ordenação.

O que leva direto ao desvio clássico. Um time coloca o reward model em produção como portão de qualidade: respostas com escore acima de 3,0 passam, abaixo de 3,0 são regeneradas. Funciona por uma semana, aí um reward model retreinado desloca todos os escores dois pontos para cima e o portão aprova tudo. O limiar nunca teve significado — a loss acima prova que nenhum limiar desses existe na quantidade aprendida. O uso correto é comparativo: pontue vários candidatos para o mesmo prompt e fique com o melhor, ou calibre uma regra de decisão contra julgamentos humanos retidos e recalibre toda vez que o modelo for retreinado.

A coleta de dados determina o que o proxy significa. Anotadores discordam porque um prompt é ambíguo, porque a rubrica é incompleta ou porque os valores genuinamente diferem. Estatísticas de concordância ajudam, mas voto majoritário não transforma uma preferência contestada em fato objetivo. Domínios especializados precisam de revisores qualificados; dados multilíngues precisam de competência nativa; julgamentos de segurança precisam de caminhos de escalonamento e de proteções para anotadores expostos a material nocivo.

A geração de candidatos importa tanto quanto a rotulagem. Se toda comparação opõe uma resposta excelente a um disparate, o reward model aprende sinais fáceis e não consegue separar duas respostas plausíveis. Dados on-policy ou periodicamente atualizados amostram candidatos da policy que você está de fato melhorando, expondo a fronteira que ela atualmente acha confusa. Negativos difíceis, casos adversariais e pares equilibrados em comprimento reduzem o aprendizado de atalhos.

Comprimento é o confundidor canônico. Num dado dataset, respostas detalhadas genuinamente são melhores, então o modelo aprende “mais longo é melhor” e então recompensa enchimento em todo o resto. Formatação, avisos legais, strings com cara de citação e tom confiante viram o mesmo tipo de atalho. Avaliações por fatia deveriam testar se os escores ainda acompanham a rubrica depois que essas propriedades de superfície são controladas.

Quando uma policy otimiza contra o reward model, ela busca saídas de escore alto e portanto caminha direto para regiões que o reward model nunca viu durante o treino. Erros que eram raros ficam atrativos. Isto é a lei de Goodhart em forma operacional: uma medida que vira meta deixa de ser uma boa medida. Regularização, atualizações conservadoras, comparações renovadas e avaliação independente limitam o dano sem aboli-lo.

Onde isso deixa o espécime do curso? O Qwen3.8-27B é distribuído como um único checkpoint pós-treinado sem relatório técnico, então nada pode ser afirmado sobre se ou como um reward model participou da sua produção, e este curso não vai especular. O que está documentado é o outro tipo de evidência: o model card informa escores de desfecho como SWE-bench Pro 61,7 e GPQA Diamond 89,2, ambos informados pelo fabricante e aguardando reprodução independente. Esses números vêm de verificadores, não de jurados — e essa distinção é exatamente a bifurcação que vem a seguir. Quando um desfecho pode ser verificado programaticamente, a lição 6.8 mostra que dá para pular o jurado aprendido por completo. Quando não pode, um reward model é uma maneira de transformar julgamentos humanos num sinal escalar reutilizável; métodos diretos de preferência, como o DPO, otimizam os próprios pares sem ajustar um reward model separado. As duas abordagens ainda herdam os limites de qualidade dos dados desta lição.

Perguntas de calibração permanecem mesmo para um jurado bem construído. Acurácia pareada em dados retidos é necessária e está longe de ser suficiente. Examine empates, discordância por subgrupo, sensibilidade adversarial, distribuições de escore, e se escores mais altos correlacionam com sucesso de tarefa medido de forma independente. Um reward model pode ordenar pares familiares lindamente e ainda assim guiar a otimização para algum lugar inútil. A figura durável é um jurado aprendido a partir de exemplos relativos: sua utilidade vem de escalar um sinal humano caro, e seu perigo vem da mesma compressão, porque um julgamento condicional cheio de nuance foi achatado num único número, e todo passo de otimização adiante já esqueceu o que aquele número deixou de fora.