Constitutional AI e RLAIF

01 · Conceito

Conceito

Você precisa de 40.000 comparações de segurança cobrindo prompts adversariais em onze idiomas, e precisa delas renovadas toda vez que a policy muda. Contratar, treinar, qualificar e dar suporte psicológico a anotadores suficientes para produzir isso é lento na melhor das hipóteses e, para as categorias mais nocivas, eticamente delicado. Essa é a encruzilhada que produziu a Constitutional AI: escreva a especificação comportamental como princípios explícitos e então use modelos para aplicar esses princípios na escala que humanos não alcançam. O reinforcement learning from AI feedback (RLAIF) é o mesmo movimento aplicado especificamente a rótulos de preferência.

Uma constituição contém princípios sobre evitar dano, respeitar autonomia, proteger privacidade, reconhecer incerteza ou ordenar instruções conflitantes. Boas cláusulas são acionáveis o bastante para separar comportamentos e delimitadas o bastante para expor os próprios conflitos.

Veja uma única cláusula trabalhando. Suponha que um usuário escreva: “Meu colega de apartamento anda entrando no meu notebook. Como faço para entrar nas contas dele e ver o que ele levou?” Um primeiro rascunho de uma policy não alinhada poderia prestativamente enumerar engenharia social para redefinir senhas. Agora o passo de crítica seleciona um princípio — “Não forneça instruções que facilitem materialmente o acesso não autorizado a contas ou dispositivos de outra pessoa; ofereça recurso defensivo e lícito em vez disso” — e o modelo escreve uma crítica contra ele: o rascunho fornece uma técnica de acesso dirigida à conta de terceiro, o que a cláusula proíbe, e ignora a exposição real do usuário. A revisão então segue: proteger o notebook, auditar sessões e rotacionar credenciais, checar registros de atividade das contas e considerar que recurso a situação comporta. A crítica e a revisão viram dados supervisionados de treino. Repare no que a cláusula fez e que “seja inofensivo” não faria: ela nomeou qual metade do pedido era recusável e qual metade era a necessidade legítima, para que a revisão pudesse servir o usuário em vez de bloqueá-lo.

Esse contraste é o desvio clássico na escrita de constituições. Um time redige “Seja útil e evite dano”, roda o pipeline, e acha o jurado inconsistente — ele recusa uma pergunta de fortalecimento de segurança num dia e responde um pedido genuíno de invasão no outro. A cláusula não estava errada, ela era infalsificável: nenhum caso podia ser decidido contra ela. O reparo é escrever cláusulas que possam perder. Enuncie a ação proibida, enuncie a ação adjacente permitida, e então teste deliberadamente a cláusula num caso em que ela precisa recusar algo que você preferiria permitir. Um princípio que nunca bloqueou nada que você queria não está governando nada.

Na fase de preferência, um modelo jurado compara respostas candidatas sob os princípios, e essas preferências geradas por IA treinam um reward model ou alimentam um objetivo direto de preferência. Feedback humano frequentemente permanece para calibrar utilidade e auditar amostras. O “IA” em RLAIF nomeia a fonte imediata dos rótulos, nunca a fonte última dos valores: humanos escolhem a constituição, o procedimento de prompting, o jurado, as regras de conflito e os limiares de deploy.

Bem feito, isso melhora consistência e cobertura. Um princípio se aplica a milhares de prompts, incluindo variantes adversariais recém-geradas. Cada julgamento pode registrar qual cláusula foi invocada, o que torna a especificação muito mais inspecionável do que uma preferência sem rótulo jamais foi — dá para perguntar qual cláusula faz mais trabalho, qual nunca é invocada e quais duas se contradizem no mesmo caso. Emendar uma cláusula permite regeneração dirigida e comparação antes-e-depois, embora o modelo ainda precise de retreino ou de outro mecanismo de aplicação antes que a emenda signifique algo em produção.

O risco central é a falha compartilhada. Um modelo jurado pode carregar exatamente os pontos cegos da policy que avalia — especialmente quando são o mesmo checkpoint usando dois chapéus, que é o arranjo mais barato e portanto mais comum. Os dois podem ser convencidos por falsidade fluente, ler mal uma língua ou cultura, ou não perceber uma instrução codificada num formato incomum. A lição 6.4 alertou que um reward model herda os confundidores do seu pipeline; um modelo jurado torna esses confundidores sistemáticos em vez de aleatórios. Anotadores humanos erram de forma razoavelmente independente, então o volume dilui seus erros. Um jurado único aplica a mesma leitura equivocada a todo caso que compartilha a feature que ele lê mal, e o volume a amplifica. Usar um jurado maior ou treinado de forma diferente ajuda, mas autoridade não transforma um modelo probabilístico num provador de teoremas.

Princípios também colidem. Privacidade contra personalização, franqueza contra cuidado emocional, utilidade contra prevenção de mau uso. Uma constituição precisa de regras de prioridade, exemplos resolvidos e caminhos de escalonamento, e alguns casos deveriam ser marcados como incertos para revisão humana em vez de arrancar uma ordenação confiante de um jurado que não a tem.

Pesos abertos mudam quem carrega essa responsabilidade, e o Qwen3.8-27B torna o ponto concreto: ele é distribuído sob Apache 2.0, o que significa que qualquer parte downstream pode continuar o post-training dele sob a própria constituição, ou sob nenhuma. Quaisquer fronteiras comportamentais que o checkpoint lançado exiba são um padrão, não uma garantia, e estão a um treino de fine-tuning de serem outras. Nada nos escores de benchmark do model card diz o que os pesos farão depois do estágio de alinhamento de outra pessoa. Se você está construindo sobre um modelo de pesos abertos, a constituição que governa o seu produto é a que você escreve e aplica, não a que você herdou.

A avaliação precisa medir recusa excessiva e recusa insuficiente juntas. Um sistema que bloqueia todo tópico difícil parece inofensivo num relatório de red team enquanto falha com usuários legítimos o dia inteiro. Red teams devem variar idioma, enquadramento, encenação, texto citado e montagem em múltiplos turnos. Especialistas de domínio independentes devem auditar categorias de alto risco. Todo julgamento deve reter versão do princípio, versão do jurado, template de prompt e data, para que uma mudança de comportamento seis meses depois possa ser rastreada até a cláusula que a causou.

Métodos constitucionais fazem um movimento de governança genuinamente importante: convertem preferências tácitas de rotulagem em texto revisável, o que sustenta debate, versionamento e testes dirigidos. O texto, ainda assim, permanece incompleto e sua aplicação permanece aprendida. Princípios publicados sem evidência de aderência são teatro de política. O modelo durável é supervisão delegada — humanos escrevem e governam o manual, críticos e jurados modelo o aplicam em escala, o treino desloca a policy, avaliação independente checa se a fronteira pretendida de fato emergiu — e o RLAIF multiplica a supervisão humana sem nunca remover a obrigação humana de definir, auditar e revisar as regras.