RLHF com PPO

01 · Conceito

Conceito

O supervised fine-tuning só ensina o modelo a reproduzir respostas que alguém já escreveu. Se você quer que ele encontre uma resposta melhor que qualquer uma do seu dataset, ele precisa gerar candidatos por conta própria e ser informado de quais funcionaram. Isso é um problema de aprendizado por reforço, e o reinforcement learning from human feedback (RLHF) é a maneira clássica de formulá-lo. O prompt é um estado, os tokens gerados são ações, e uma resposta completa ganha uma recompensa prevista a partir de preferências humanas.

Um pipeline canônico roda pretraining, depois SFT, depois um reward model treinado em pares de preferência, depois a otimização de uma cópia da policy de SFT. Para cada batch de prompts a policy atual amostra respostas, o reward model as pontua, e esses retornos são convertidos em vantagens: estimativas de quanto uma ação foi melhor que a linha de base esperada da própria policy.

A geração de linguagem torna a atribuição de crédito difícil. A recompensa normalmente chega uma vez só, depois da resposta completa, mas centenas de escolhas de token contribuíram para ela. Uma função de valor aprendida estima o retorno futuro esperado em cada posição, e a estimativa generalizada de vantagem troca viés por variância ao combinar erros de diferença temporal. Esses detalhes não são decoração: vantagens ruidosas tornam a otimização de modelos grandes instável de formas que parecem problemas de modelo.

A Proximal Policy Optimization (PPO) permite reutilizar dados amostrados de uma policy ligeiramente mais antiga. Para uma ação de token,

Passe o clip pelos números, porque sua assimetria surpreende as pessoas. Tome uma faixa de clip de $\epsilon=0.2$, de modo que a cópia cortada da razão fique entre 0,8 e 1,2. Suponha que um token tivesse probabilidade 0,20 sob a policy antiga e 0,30 sob a nova, dando $\rho_t = 1.5$, e que sua vantagem fosse $+2.0$. O termo sem clip é 3,0, o termo com clip é 1,2 vezes 2,0, ou 2,4, e o mínimo dos dois é 2,4. O objetivo substituto não ganha mais nada ao empurrar a probabilidade deste token para cima, então o incentivo desta amostra a continuar subindo desaparece. A razão ainda é 1,5: o PPO não a prendeu em 1,2. Agora mantenha a mesma razão e faça a vantagem $-2.0$. O termo sem clip é $-3.0$, o termo com clip é $-2.4$, e o mínimo é $-3.0$. O clip não achata o objetivo nessa direção — uma ação ruim cuja probabilidade já subiu continua sendo empurrada para baixo com força. Outras amostras compartilham os mesmos parâmetros, então seus gradientes podem mover essa razão ainda mais para fora da faixa nominal. O PPO aplica clipping a uma contribuição do objetivo, não ao passo do otimizador nem à policy resultante.

O RLHF acrescenta uma segunda âncora além do clipping: uma policy de referência congelada, normalmente o checkpoint de SFT, com uma penalidade de divergência KL desencorajando o modelo otimizado de se afastar dela. O clipping remodela o incentivo local; a KL penaliza a deriva acumulada. Nenhum dos dois é um limite rígido. Sem o termo de KL, a policy pode sacrificar fluência, diversidade e competência geral para explorar peculiaridades do reward model. Um controlador pode ajustar o coeficiente da penalidade para mirar uma faixa de KL, mas essa faixa é uma escolha de engenharia, não uma constante da natureza.

Aqui vem o desvio clássico, e quase todo mundo o toma uma vez. O painel mostra a recompensa média subindo de 0,9 para 1,3 ao longo de um treino, cerca de 40 por cento de melhoria, e o treino é declarado sucesso. A lição 6.4 já desmontou isso: a loss pareada do reward model depende apenas de diferenças de escore, então a escala não tem unidade e o nível não tem significado. Pior, a quantidade que está subindo é medida exatamente pelo modelo que a policy está aprendendo a burlar. A correção é tratar recompensa de treino como diagnóstico e nunca como desfecho. Julgue o treino por comparações humanas retidas coletadas depois do treino, por checagens de tarefa que nunca fizeram parte do sinal otimizado, e pelas variáveis de controle — KL contra a referência, comprimento médio de resposta, taxa de recusa, diversidade das amostras. Um treino em que a recompensa subiu 40 por cento enquanto o comprimento subiu 60 por cento e a KL dobrou não ficou melhor; ficou mais longo e mais estranho.

O laço também é caro de um jeito que exclui silenciosamente a maioria dos times. Uma montagem completa de PPO pode segurar quatro modelos ao mesmo tempo — policy, referência congelada, reward e value — mais estado de otimizador e os rollouts gerados. Dimensionar isso para um modelo de classe 27B é sóbrio: a policy sozinha são 54 GB em bf16, a referência são outros 54 GB, e o estado do AdamW para 27B de parâmetros fica entre 324 e 432 GB. O sampling faz parte do treino, então o throughput depende da sua stack de inferência tanto quanto do backpropagation. E como muitos componentes se movem juntos, bugs se escondem bem: máscaras de padding descasadas, recompensas terminais grudadas na posição errada, log-probabilidades antigas desatualizadas, um chat template aplicado no sampling mas não na pontuação. Qualquer um desses otimiza silenciosamente um objetivo diferente do que você escreveu.

Os sintomas visíveis são consistentes entre times. A recompensa sobe enquanto a qualidade independente cai. O comprimento das respostas infla. O fraseado fica repetitivo. As recusas se multiplicam. A KL colapsa para zero, sinal de que nada está sendo aprendido, ou explode, sinal de que a policy saiu da distribuição de linguagem. Avalie com julgamentos e checagens que nunca fizeram parte do sinal otimizado, ou você está corrigindo a prova com o gabarito que o aluno aprendeu a falsificar.

O PPO segue importante porque consegue otimizar sinais arbitrários no nível da sequência e explorar online, o que nenhum método offline faz. Ele também é sensível a muitos hiperparâmetros espalhados por muitas peças móveis. Métodos diretos de preferência (lição 6.6) eliminam o reward model e o laço de RL para uma classe de problemas, trocando flexibilidade por simplicidade. Métodos de recompensa verificável (lição 6.8) mantêm o aprendizado por reforço mas substituem o jurado aprendido por um verificador programático, o que muda inteiramente o perfil de risco. Qualquer que seja a escolha, o modelo mental se mantém: a recompensa propõe uma direção, o modelo de valor reduz variância, o clipping limita o incentivo para continuar se movendo em direções específicas, e a KL penaliza a deriva — nada disso limita a policy de forma rígida nem responde se “mais recompensa” ainda significa “melhor para a pessoa que lê a saída”.