Entropia, perplexity e o que significa 'bom'

01 · Conceito

Conceito

Dois times avaliam modelos de linguagem no mesmo corpus. Um reporta perplexity de 7,4, o outro, 4,2, e o segundo declara vitória. Antes de aceitar isso, pergunte se os dois números fazem média da surpresa sobre o mesmo tipo de evento. Um tokenizer faz parte da interface aprendida do modelo: mudá-lo altera a sequência de tokens, os índices de embedding e as probabilidades avaliadas. Perplexities por token de pares modelo-tokenizer diferentes, portanto, podem não ser diretamente ranqueáveis.

A teoria da informação transforma probabilidade numa medida de surpresa. Um evento de probabilidade $p$ carrega autoinformação $-\log p$: eventos prováveis são pouco surpreendentes, os improváveis carregam mais informação quando ocorrem. A base do logaritmo escolhe a unidade — base dois dá bits, o logaritmo natural dá nats. Bibliotecas de deep learning quase sempre usam nats, artigos frequentemente citam bits, e o fator de conversão $\ln 2 \approx 0.693$ é responsável por uma fração saudável dos números errados em circulação.

A entropia de uma distribuição discreta é a surpresa esperada:

Uma distribuição concentrada num único desfecho tem entropia zero. Uma distribuição uniforme sobre muitos desfechos tem a maior entropia disponível naquele tamanho. Para uma distribuição categórica sobre $V$ candidatos, a baseline uniforme tem perplexity $V$ e surpresa $\log_2 V$ bits por evento. Aplique essa âncora só depois de declarar quais candidatos o runtime inclui; o tokenizer do Qwen mapeia 248.077 ids, enquanto seu tensor de saída tem 248.320 linhas.

Para pontuar uma distribuição de modelo $q$ contra desfechos sorteados de $p$, use a cross-entropy:

Num corpus real, o próximo token observado faz as vezes da distribuição dos dados, então isso se reduz a fazer a média do log negativo da probabilidade que o modelo deu a cada token que de fato apareceu. Isso é a média do negative log-likelihood, a loss de treino comum. Atribua probabilidade minúscula ao que aconteceu e pague caro; atribua probabilidade alta e pague pouco. A cross-entropy se decompõe como $H(p,q) = H(p) + D_{KL}(p \Vert q)$: incerteza irredutível nos dados, mais o custo extra de usar a distribuição errada. Nenhum modelo leva o primeiro termo a zero, e é por isso que uma perplexity de um em texto natural seria evidência de vazamento e não de genialidade.

A perplexity exponencia a média. Em nats, $\operatorname{PPL} = \exp(H)$; em bits, $\operatorname{PPL} = 2^{H}$. Se o modelo enfrentasse $k$ opções igualmente prováveis a cada passo, a perplexity seria $k$, que é de onde vem a expressão fator de ramificação efetivo. Distribuições reais não são uniformes, então trate isso como intuição e não como contagem de candidatos.

Para o par A, seja a negative log-likelihood total $S_A=2886$ bits sobre $N_A=1000$ tokens:

O par B pode produzir $N_B=1400$ tokens sobre o mesmo texto exibido, mas tem sua própria surpresa total $S_B$:

Você não pode substituir $S_A=2886$ na segunda fórmula: um tokenizer diferente define eventos de predição diferentes, e ids arbitrários já não endereçam as linhas aprendidas para eles. Manter 2886 fixo seria uma demonstração aritmética útil da sensibilidade ao denominador — produzindo cerca de 4,2 —, mas não uma avaliação válida entre tokenizers. Comparações reais medem os dois numeradores e usam uma unidade comum.

O erro de caminho clássico aqui merece ser nomeado porque é sutil. Diante do descompasso, as pessoas frequentemente tentam consertá-lo comparando perplexity por palavra, raciocinando que palavras são neutras em relação ao idioma. Não são, como a lição 1.2 mostrou: fronteiras de palavra são uma convenção que vários idiomas importantes não usam, e línguas flexionais empacotam mais numa palavra do que línguas analíticas. Bytes também não são perfeitos — uma escrita cujos caracteres custam três bytes UTF-8 é cobrada mais por caractere do que uma cujos caracteres custam um —, mas bytes ao menos são definidos de forma idêntica para todo modelo e todo idioma, e a definição é verificável.

A comparabilidade tem outras fronteiras além da tokenization. A perplexity depende do corpus de avaliação, de como os tokens de início e fim são tratados, do comprimento de contexto, de se uma janela deslizante recomputa regiões sobrepostas e de quais posições são mascaradas fora da loss. Dois números publicados que diferem em qualquer um desses pontos não são ranqueáveis, e a resposta honesta a um descompasso é reportar a discrepância em vez de fazer a média dela.

Vazamento é o outro destruidor silencioso. Texto de avaliação duplicado no treino mede memória junto com generalização e, nas escalas de corpus modernas, supor uma separação limpa é otimismo. Descasamento de domínio corta dos dois lados: um modelo forte pode parecer fraco em texto diferente de tudo que ele vai atender, ou lisonjeiramente forte em texto que se parece com sua distribuição de treino.

Reporte perplexity do jeito que a lição 1.6 pediu que você reportasse um resultado de analogia: com a procedência do corpus, a contagem de tokens, as versões do modelo e do tokenizer, a política de contexto e precisão suficiente para sustentar a conclusão sem exagerá-la. Um número sem seu protocolo não é uma medição.