Constitutional AI e RLAIF

1

Conceito

Coleta de preferência humana é cara e difícil de escalar, sobretudo em casos adversariais de segurança. Constitutional AI explicita parte da especificação comportamental como um conjunto de princípios escritos — uma constituição — e usa modelos para aplicá-los no treinamento. Reinforcement learning from AI feedback (RLAIF) usa julgamentos gerados por modelos onde RLHF clássico usaria comparações humanas.

Uma constituição pode conter princípios sobre evitar dano, respeitar autonomia, proteger privacidade, admitir incerteza ou seguir uma hierarquia de instruções. Bons princípios são acionáveis o suficiente para distinguir comportamentos e delimitados o suficiente para expor conflitos. “Seja bom” não é cláusula útil. “Não forneça instruções que facilitem roubo de credenciais; ofereça recuperação defensiva de conta” define uma fronteira mais clara.

Numa fase supervisionada, o modelo primeiro gera uma resposta a um prompt potencialmente nocivo. Depois critica essa resposta com referência a um princípio selecionado e escreve uma revisão. Os pares de crítica e revisão viram dados de treinamento. Isso difere de um dataset em que pessoas escrevem toda resposta ideal: o modelo propõe diagnóstico e correção, enquanto a constituição estrutura a tarefa.

Numa fase de preferências, um model judge compara respostas candidatas de acordo com os princípios. Essas preferências de AI podem treinar um reward model ou alimentar um objetivo direto. Feedback humano ainda calibra utilidade ou audita amostras. O “AI” de RLAIF descreve a fonte imediata dos rótulos, não a fonte final dos valores: pessoas escolhem constituição, prompting, judge, regras de conflito e limites do deploy.

A abordagem amplia consistência e cobertura. Um princípio pode ser aplicado a muitos prompts, incluindo variações adversariais novas. Cada julgamento registra a cláusula invocada, tornando a especificação mais inspecionável que uma preferência sem justificativa. Atualizar uma cláusula permite regeneração direcionada, embora o modelo ainda precise de novo treinamento ou mecanismo de enforcement.

O risco central é a falha compartilhada. O judge pode ter os mesmos pontos cegos da política. Ambos podem ser persuadidos por afirmações fluentes e falsas, não entender um idioma ou cultura ou ignorar uma instrução nociva codificada. Usar um judge maior ou treinado de outra forma ajuda, mas autoridade não transforma um modelo probabilístico em provador formal.

Princípios também colidem. Privacidade pode conflitar com personalização; objetividade com sensibilidade; utilidade com prevenção de abuso. Uma constituição precisa de prioridades, exemplos e escalonamento. Alguns casos devem ser marcados como incertos para revisão humana, em vez de forçar um ranking confiante.

A avaliação mede over-refusal e under-refusal. Um sistema que bloqueia todo assunto difícil parece inofensivo e falha com usuários legítimos. Red teams variam idioma, enquadramento, role-play, texto citado e contexto multi-turn. Especialistas independentes auditam categorias críticas. Todo julgamento retém versão do princípio, judge, prompt template e data para permitir rastreio.

Métodos constitucionais fazem um movimento importante de governança: transformam preferências tácitas de rotulagem em texto revisável. Isso permite debate, versionamento e testes direcionados. Mas o texto permanece incompleto, e sua aplicação permanece aprendida. Princípios publicados sem evidência de aderência são apenas teatro de política.

O modelo mental é supervisão delegada. Pessoas escrevem e governam o manual; model critics e judges aplicam-no em escala; o treinamento desloca a política; avaliações independentes verificam se a fronteira desejada surgiu. RLAIF multiplica supervisão humana, mas não remove a responsabilidade humana de definir, auditar e revisar regras.