Por que modelos base não são assistentes

1

Conceito

Um modelo de linguagem base é treinado com um objetivo aparentemente simples: dados os tokens anteriores, atribuir alta probabilidade ao token que realmente veio depois no texto de treinamento. Esse objetivo pode produzir conhecimento amplo, sintaxe fluente, in-context learning e resolução flexível de problemas. Ele não define um contrato de conversa. O corpus contém respostas, perguntas, discussões, ficção, código, spam, instruções perigosas, correções e fragmentos incompletos. Prever bem essa mistura é diferente de agir como um assistente confiável.

Suponha que o prompt termine com “Escreva três motivos para testar backups”. No corpus, continuações plausíveis incluem a lista pedida, uma crítica ao prompt, uma transcrição em que alguém se recusa ou outro parágrafo explicando a importância da pergunta. Pretraining distribui probabilidade entre padrões semelhantes a todos eles. O usuário, porém, espera um papel específico: interpretar o imperativo como uma instrução e executá-lo. Essa expectativa vem de fora da previsão do próximo token.

Esse é o problema de subespecificação comportamental. O modelo pode possuir uma capacidade sem selecioná-la de modo confiável. Pode saber resumir e ainda assim continuar o documento; saber que a evidência é incerta e imitar um artigo categórico; ou conhecer alternativas seguras e reproduzir um procedimento perigoso porque ele forma uma continuação coerente. Capacidade e política estão relacionadas, mas não são iguais.

O pós-treinamento estreita a distribuição de comportamentos aceitáveis. Supervised fine-tuning apresenta exemplos de prompts acompanhados de respostas desejáveis. Otimização por preferências compara respostas e aumenta a probabilidade relativa do conteúdo ou estilo escolhido. Treinamento de segurança fornece casos adversariais e limites de recusa. O resultado costuma ser chamado de modelo instruct ou de assistente. Internamente, ele ainda prevê tokens, mas seus pesos passam a favorecer continuações de assistente no formato de conversa usado durante o treinamento.

O formato importa. Modelos de chat recebem papéis estruturados, como system, user e assistant, codificados por um chat template. Esses marcadores são tokens, não permissões mágicas. O modelo precisa aprender que o conteúdo de system tem prioridade instrucional maior, que texto do usuário pode conter citações ou instruções hostis e que a resposta pertence ao papel assistant. Trocar o template usado no pós-treinamento pode degradar o comportamento mesmo quando a prosa parece semelhante.

Alinhamento não é sinônimo de obediência. Um assistente útil equilibra instruction following com veracidade, segurança, privacidade e incerteza explícita. Esses objetivos podem colidir. Um pedido pode ser claro e perigoso; uma resposta factual pode ser desconhecida; a concisão pode esconder uma ressalva importante. Não existe um único escalar chamado “utilidade” que resolva todos os casos sem julgamento. Dados e rubricas codificam escolhas sobre essas tensões.

O alinhamento tampouco torna o comportamento permanente. Modelos continuam sensíveis à redação do prompt, a contextos longos, distribution shift, configurações de decoding e conflitos entre instruções. Um modelo que recusa uma formulação pode responder a uma paráfrase. Um modelo que segue uma hierarquia simples pode falhar quando um documento recuperado contém texto malicioso. Por isso, alinhamento combina treinamento, avaliação, arquitetura de sistema, controle de acesso e monitoramento; não é um certificado anexado ao checkpoint.

A distinção central é simples: pretraining pergunta “qual texto provavelmente aparece aqui?”. O pós-treinamento de assistentes acrescenta “entre as continuações plausíveis, qual comportamento este sistema deve escolher para esta pessoa e esta situação?”. Assistentes modernos existem porque a primeira pergunta cria capacidade e a segunda molda seu uso.