Entropia, perplexidade e o que significa 'bom'

1

Conceito

Teoria da informação transforma probabilidade em medida de surpresa. Um evento com probabilidade $p$ tem informação $-\log p$: eventos prováveis surpreendem pouco; improváveis carregam mais informação quando acontecem. A base do log escolhe a unidade. Base dois produz bits; log natural, nats. Bibliotecas de machine learning normalmente usam log natural.

A entropia de uma distribuição discreta $p$ é a surpresa esperada:

Uma distribuição concentrada num resultado tem entropia zero. Uma distribuição uniforme sobre muitos resultados tem entropia maior. Entropia descreve incerteza da própria distribuição. Não é automaticamente desordem no sentido cotidiano, nem valor alto indica modelo ruim quando a situação é genuinamente ambígua.

Para avaliar uma distribuição do modelo $q$ sobre resultados de $p$, usamos cross-entropy:

Num dataset finito, o próximo token observado representa a distribuição dos dados. Tiramos a média do negative log da probabilidade atribuída a cada token correto. Essa é a mean negative log-likelihood, a loss conhecida do treinamento. Dar probabilidade minúscula ao observado gera penalidade grande; dar probabilidade alta gera penalidade pequena.

Cross-entropy se decompõe como $H(p,q)=H(p)+D_{KL}(p\Vert q)$. O primeiro termo é incerteza inerente aos dados; KL divergence é o custo extra de usar $q$ no lugar de $p$. Não conhecemos exatamente a distribuição real da língua, e um corpus de teste é apenas amostra, mas a decomposição mostra por que nem o modelo perfeito elimina ambiguidade genuína.

Perplexidade exponencia a cross-entropy média. Com log natural, $\operatorname{PPL}=\exp(H)$. Se em cada passo o modelo enfrentasse escolha uniforme entre $k$ tokens, a perplexidade seria $k$. Distribuições reais não são uniformes; “fator efetivo de ramificação” é intuição, não contagem literal. Perplexidade menor indica mais probabilidade para os tokens observados sob aquele protocolo.

A comparabilidade tem fronteiras rígidas. Perplexidade depende de dataset, tokenização, tokens de começo e fim, comprimento do contexto, janela deslizante e posições mascaradas na loss. Um tokenizer que divide o texto de outra forma muda os eventos da média. Números de vocabulários diferentes não podem ser ordenados ingenuamente. Medidas normalizadas por byte ou caractere ajudam, mas exigem definição explícita.

Vazamento de dados pode produzir perplexidade enganadoramente baixa. Texto de avaliação duplicado no treinamento testa memória e generalização misturadas. Domain mismatch faz um modelo forte parecer fraco para a aplicação ou o inverso. Incerteza estatística importa em diferenças pequenas. Relate proveniência, contagem de tokens, versões de modelo e tokenizer, política de contexto e precisão suficiente para apoiar, não exagerar, a conclusão.

Por fim, ajuste preditivo não esgota o sentido de “bom”. Um modelo com perplexidade menor ainda pode seguir instruções mal, alucinar, reproduzir viés ou custar demais. Pós-treinamento melhora comportamento de assistente e altera métricas de base de formas complexas. Perplexidade responde a uma pergunta estreita: quanto estes tokens surpreenderam o modelo? Seu valor vem justamente de não confundir essa resposta com alegações amplas de utilidade e confiabilidade.

Ao relatar a medida, inclua a loss média antes da exponenciação. Isso evita arredondamentos escondidos, permite recomputar perplexidade na base correta e torna diferenças pequenas mais fáceis de analisar com incerteza estatística.