Distillation: modelos pequenos jogando acima do peso

1

Conceito

Modelos grandes podem produzir dados valiosos para modelos menores. Knowledge distillation treina um student para imitar sinais de um teacher, buscando preservar comportamento útil com menos memória, latência ou custo. Distillation não é compressão de arquivo: o student tem outra parametrização e aprende uma aproximação sobre uma distribuição escolhida de entradas.

A forma clássica usa logits do teacher. Para uma entrada, o teacher produz uma distribuição de probabilidade sobre classes ou tokens. Uma temperature $T$ suaviza a distribuição e expõe probabilidades de alternativas. O student minimiza uma divergência entre as distribuições, normalmente combinada à loss comum dos rótulos reais:

As probabilidades fora do alvo carregam relações. Se o teacher atribui probabilidade moderada a dois tokens semanticamente próximos e quase nenhuma a irrelevantes, o student aprende mais do que uma resposta one-hot revela. Temperature e escalas variam; a fórmula é um template comum, não a única implementação.

Para teachers fechados cujos logits não estão disponíveis, sequence distillation usa saídas geradas como alvos supervisionados. O teacher responde a prompts curados; as saídas são filtradas, verificadas ou ranqueadas; o student executa SFT nas conversas. O teacher também pode gerar explicações, tool traces, pares de preferência, críticas ou candidatas diversas. Nesse cenário, geração e validação de dados se tornam o núcleo do algoritmo.

A cobertura dos prompts define o comportamento transferido. Um currículo de aritmética pode melhorar aritmética e não tocar instruction following multilíngue. Prompts fáceis saturam sem ensinar a fronteira de decisão. Prompts difíceis viram ruído quando o teacher falha ou o student não tem capacidade. Geração adaptativa procura casos de discordância ou aqueles em que verificação externa separa estratégias bem-sucedidas.

Saídas do teacher não são ground truth. Hallucinations, instruções inseguras, bias cultural, prolixidade e manias de formatação podem ser copiados. Filtrar tudo pelo mesmo teacher cria aprovação circular. Pipelines fortes usam ferramentas externas, datasets confiáveis, judges independentes, auditoria humana e registros de proveniência. Dados sintéticos devem reter versão do teacher, decoding, origem do prompt, decisões de filtro e data.

Capacidade impõe um teto real. Um student menor aprende comportamento superficial frequente e perde conhecimento raro, long context, nuances multilíngues ou composição robusta. Médias de benchmark escondem perdas. Avalie por capacidade, dificuldade, idioma, limite de segurança e distribuição. Compare com um student treinado nos dados originais para atribuir o ganho ao sinal do teacher, e não apenas a tokens extras.

Distillation pode ser offline, com dataset sintético fixo, ou online, consultando o teacher enquanto o student muda. Dados offline são reproduzíveis e baratos para reutilizar, mas envelhecem. Ensino online mira erros atuais, porém custa mais e dificulta reprodução. Também é possível destilar features intermediárias quando arquiteturas e ativações são acessíveis, embora alinhar representações internas possa restringir demais uma geometria diferente.

Distillation complementa quantização e pruning. Destile primeiro e depois comprima; ou use o teacher durante quantization-aware training para recuperar qualidade. São problemas diferentes: distillation muda o que o modelo menor aprende, enquanto quantização muda como seus pesos e ativações são representados.

O modelo mental é transferência comportamental guiada por currículo. O teacher fornece alvos ricos, o student comprime padrões dentro de sua capacidade, e a avaliação revela o que sobreviveu. Um modelo pequeno “joga acima do peso” não porque contém secretamente o teacher, mas porque a supervisão escolhida aloca sua capacidade limitada aos comportamentos que mais importam.