GRPO e RL com rewards verificáveis

1

Conceito

Modelos de preferência ajudam quando qualidade é subjetiva, mas algumas tarefas têm resultados que um programa consegue conferir. Uma expressão matemática pode ser normalizada e comparada ao gabarito. Código pode rodar contra testes num sandbox. Uma prova formal pode passar por um verificador. Um jogo possui regras e pontuação. Esses rewards verificáveis trocam “isto parece bom?” por uma pergunta mais estreita cuja resposta é repetível.

Reinforcement learning é atraente porque o modelo amostra soluções diversas e recebe feedback sobre o resultado sem uma pessoa escrever todo o trace desejado. Uma resposta correta recebe reward mesmo quando seu caminho difere da demonstração. A política ganha espaço para descobrir estratégias, em vez de apenas imitar uma solução.

Group Relative Policy Optimization (GRPO), apresentada no trabalho DeepSeekMath de 2024, amostra um grupo de saídas para o mesmo prompt. Se os rewards são $R_1,\ldots,R_G$, uma advantage simplificada padroniza cada amostra no grupo:

Saídas acima do baseline recebem advantage positiva; as demais, negativa. A implementação exata pode incluir razões de política por token, clipping, KL e vários rewards. A diferença importante diante de PPO clássico é que as estatísticas do grupo fornecem um baseline, dispensando value model separado na forma básica.

Comparação relativa ajuda quando escalas brutas variam entre prompts. Resolver um problema muito difícil ainda pode ser reforçado diante de pares malsucedidos, mesmo com rewards esparsos. Mas grupos consomem compute de geração. Se todas as amostras recebem a mesma nota, o sinal normalizado desaparece. Tamanho do grupo, diversidade de sampling e currículo de dificuldade definem a frequência de contrastes úteis.

Verificabilidade não equivale à validade da solução inteira. Um checker da resposta final aceita palpites sortudos ou etapas inválidas. Testes públicos podem ser decorados. Um agente de código pode explorar filesystem, tempo ou rede se o sandbox for fraco. Um proof checker valida regras formais, não se o teorema representa a intenção do usuário. O reward precisa cobrir a fronteira real.

É comum combinar rewards: corretude, validade de formato, limites de ferramenta e talvez uma nota aprendida de estilo. Os pesos criam incentivos. Formatação pode superar corretude esparsa; penalidade de comprimento pode suprimir raciocínio necessário; um judge pode reintroduzir reward hacking. Registre cada componente separadamente para que o total crescente não esconda queda no objetivo principal.

O treinamento também sofre reward overfitting. Se prompts e checkers usam templates estreitos, a política aprende estratégias superficiais que falham em distribuições novas. Separe geradores, faça mutações nos testes, inclua casos adversariais e avalie resposta e processo de forma independente. Contaminação entre problemas de treino e avaliação é especialmente perigosa: respostas memorizadas imitam melhoria de raciocínio.

GRPO é apenas um membro de uma família. O princípio é comparar comportamento amostrado, estimar quais ações foram relativamente boas e atualizar com cautela. Isso funciona muito bem quando um checker de alta precisão fornece feedback escalável. Funciona pior quando o resultado é plural, carregado de valores ou impossível de reduzir a um teste robusto.

O modelo mental é um torneio com árbitra auditada. O grupo cria competição local; o verificador fornece notas; a otimização aumenta a probabilidade dos vencedores. O aprendizado só melhora quando a árbitra confere o que importa e o torneio representa as situações reais.