RLHF com PPO

1

Conceito

Reinforcement learning from human feedback (RLHF) trata o modelo de linguagem como uma política. Um prompt define o estado do ambiente, tokens gerados são ações e a resposta concluída recebe um reward previsto a partir de preferências humanas. Ao contrário de supervised fine-tuning, a política não copia uma única resposta de referência. Ela explora suas próprias saídas e se atualiza na direção das que pontuam melhor.

Um pipeline clássico começa no modelo pré-treinado, executa SFT, treina um reward model em pares de preferência e otimiza uma cópia da política SFT. Para cada batch de prompts, a política atual amostra respostas. O reward model atribui notas. Termos adicionais podem punir propriedades indesejadas ou recompensar verificações. Esses retornos viram advantages: estimativas de quanto uma ação foi melhor que o baseline esperado pela política.

Geração de linguagem cria um problema de atribuição de crédito. O reward costuma chegar depois da resposta inteira, mas centenas de escolhas de token contribuíram. Uma função de valor aprendida estima o retorno futuro esperado em cada posição. Generalized advantage estimation equilibra bias e variância ao combinar erros de diferença temporal. Os detalhes importam porque advantages ruidosas desestabilizam a otimização de modelos grandes.

Proximal Policy Optimization (PPO) usa dados amostrados de uma política anterior para atualizar a nova. Para a ação de um token, defina

Multiplicar essa razão pela advantage incentiva mudanças úteis. O objetivo clipped impede a razão de sair demais de um intervalo numa única atualização. Se um token com advantage positiva se torna muito mais provável, clipping evita que aquela amostra exija um passo ilimitado. O método é “proximal” porque mantém atualizações próximas da política que gerou os dados.

RLHF normalmente acrescenta outra âncora: uma política de referência congelada, muitas vezes o checkpoint de SFT. Uma penalidade de divergência KL desencoraja o modelo otimizado de sair da distribuição de referência. Sem essa pressão, a política pode sacrificar fluência, diversidade ou competência geral para explorar peculiaridades do reward model. Um controlador pode ajustar a penalidade para perseguir uma faixa de KL, mas essa faixa é uma escolha de engenharia.

O loop é caro e mantém muito estado. Pode carregar política, referência, reward e value models, além de estados do otimizador e rollouts. Sampling faz parte do treinamento, então throughput depende tanto de infraestrutura de inferência quanto de backpropagation. Bugs em máscaras de padding, reward terminal, chat templates, log-probabilities antigas ou fronteiras da resposta otimizam silenciosamente o objetivo errado.

Sintomas comuns incluem reward crescente enquanto a qualidade independente cai, respostas que se alongam, frases repetitivas, recusas excessivas ou KL que colapsa ou explode. A avaliação deve usar julgamentos humanos e testes de tarefa que não serviram como sinal otimizado. Observar só o reward de treino equivale a corrigir uma prova com o gabarito que o aluno aprendeu a manipular.

PPO continua importante porque otimiza sinais arbitrários no nível da sequência e permite exploração online. Também é sensível a muitos hiperparâmetros e componentes móveis. Métodos diretos removem o loop de reward model e RL em alguns cenários, trocando flexibilidade por simplicidade. Rewards verificáveis preservam reinforcement learning, mas substituem ou complementam a jurada aprendida por testes programáticos.

O modelo mental é busca controlada de política. O reward aponta direções promissoras; o value model reduz variância; clipping limita cada atualização; e KL mantém a busca perto de uma referência competente. Nenhuma peça elimina a pergunta essencial: “reward maior” ainda significa “melhor para a pessoa usuária”?