Supervised fine-tuning e dados de instruções

1

Conceito

Supervised fine-tuning (SFT) pega um checkpoint pré-treinado e continua o treinamento em demonstrações do comportamento desejado. Um registro pode conter uma instrução de system, um pedido de user e uma resposta de assistant escrita ou aprovada por uma pessoa. O objetivo não é ensinar de novo gramática ou conhecimento de mundo. É tornar estatisticamente familiares o contrato de conversa, os formatos de saída e os limites das tarefas.

A loss subjacente costuma ser a mesma cross-entropy por token do pretraining causal. Dada uma conversa com tokens $x_1,\ldots,x_T$, o modelo minimiza a log-probabilidade negativa dos tokens-alvo:

em que $A$ normalmente representa as posições da resposta de assistant. Tokens de system e user permanecem no contexto de entrada, mas ficam mascarados na loss. Assim, o otimizador não gasta capacidade aprendendo a reproduzir o prompt e concentra o gradiente no que o assistente deve dizer. Em conversas com várias rodadas, a máscara segue os limites de cada papel, não apenas o último sufixo.

Um exemplo de instrução ensina mais que sua resposta literal. Ele demonstra como interpretar um pedido, quais suposições declarar, qual formato adotar, quando perguntar e quando parar. Um exemplo de código ensina cercas, ordem da explicação e tratamento de erros. Um caso de segurança pode ensinar uma recusa delimitada seguida de uma alternativa benigna. Um exemplo de ferramenta pode ensinar uma chamada estruturada em vez de prosa. Essas convenções passam a integrar a política aprendida.

Por isso, a qualidade dos dados é o principal problema de projeto. Corretude, diversidade, proveniência e cobertura importam. Milhares de templates quase duplicados criam aparência de escala enquanto ensinam um padrão superficial frágil. Demonstrações prolixas tornam o modelo prolixo mesmo quando a pessoa pede brevidade. Respostas com citações inventadas recompensam invenção. Rótulos contraditórios criam limites instáveis. A filtragem deve examinar prompts e respostas, pois uma resposta limpa associada a uma instrução ambígua ainda pode ensinar a conduta errada.

O desenho da mistura também pesa. Se a maioria dos exemplos contém reescritas fáceis, o modelo pode ficar agradável sem melhorar em raciocínio ou composição de instruções. Se a mistura privilegia um idioma, formato ou padrão de recusa, o desempenho pode derivar nos demais. Avaliações devem ser separadas por família de tarefas e fonte, em vez de dividir aleatoriamente exemplos duplicados entre treino e teste.

SFT pode causar catastrophic forgetting ou estreitamento de comportamento quando a learning rate é alta, o treinamento dura demais ou os dados são homogêneos. O checkpoint se aproxima da distribuição supervisionada e pode reduzir probabilidade em comportamentos úteis do modelo base. Otimização conservadora, misturas amplas e testes das capacidades anteriores ajudam a revelar essa troca. PEFT reduz o conjunto de pesos alterados, mas não conserta supervisão ruim.

SFT também não é preference learning. Uma resposta-alvo diz “imite isto”, mas não mostra sua posição diante de alternativas plausíveis. Quando várias respostas são aceitáveis, imitação token a token pode punir diferenças inofensivas de redação. Métodos de preferência ensinam ranking relativo, muitas vezes depois que SFT já estabeleceu uma política estável de conversa.

Um pipeline sólido registra linhagem do dataset, chat template, tokenizer, política de máscaras, pesos da mistura, configuração de otimização e ancestralidade do checkpoint. Ele testa fatos, sucesso da tarefa, precisão das recusas, comportamento multilíngue, formato e retenção de capacidades. O modelo mental durável é o ensaio: pretraining fornece competência geral; demonstrações curadas ensinam como ela deve aparecer nas interações reais do produto.