Funções de loss e cross-entropy

01 · Conceito

Conceito

Um modelo acabou de ler o prefixo “A capital da França é” e precisa produzir um número que diga o quanto ele se saiu bem. Que número? “Certo ou errado” é quase inútil: não distingue um modelo que colocou a continuação correta em segundo lugar de um que a colocou em ducentésimo milésimo, e um sinalizador binário não tem gradiente para descer. A regra de pontuação precisa recompensar massa de probabilidade colocada no que de fato aconteceu, e precisa punir erros confiantes mais duramente do que erros incertos. Essa regra é a cross-entropy, e esta lição a torna concreta na escala em que o resto do curso trabalha.

Uma função de loss transforma a saída do modelo e o alvo num único escalar que a otimização consegue reduzir. Para classificação, a rede emite um logit $z_i$ por classe — um score irrestrito, não uma probabilidade. O softmax converte os logits numa distribuição:

Somar a mesma constante a todos os logits não muda nada, então só os scores relativos importam. Se a classe observada é $y$, a cross-entropy one-hot é simplesmente

Probabilidade perto de um dá loss perto de zero; probabilidade perto de zero dá uma loss enorme. A assimetria é a parte útil.

Agora escale isso. No Qwen3.8-27B as classes são entradas do vocabulário, e há 248.320 delas (Qwen3.8-27B Model Card, 2026). Toda posição de token é uma classificação entre 248.320 opções, e a camada linear final que produz esses logits é uma matriz que mapeia o hidden state de 5120 dimensões para 248.320 saídas — cerca de 1,271 bilhão de parâmetros, mantidos separadamente da tabela de embeddings porque este modelo não ata os dois.

Descubra o que os números significam, passo a passo. Primeiro estabeleça a baseline: um modelo que não aprendeu nada espalha probabilidade uniformemente, dando a cada entrada $1/248{,}320$, então sua loss é $-\log(1/248{,}320)=\ln(248{,}320)\approx12.42$ nats por token. Essa é a baseline uniforme, o custo da ignorância pura; não é um teto, porque atribuir ainda menos probabilidade ao token observado produz uma loss arbitrariamente maior. Agora suponha que o treinamento leve a loss média a 2,0 nats. Exponencie para obter a perplexidade: $e^{2.0}\approx7.4$. Leia isso como um fator de branching efetivo — em média o modelo se comporta como se estivesse escolhendo uniformemente entre uns sete ou oito candidatos em vez de um quarto de milhão. Os 12,42 nats de incerteza bruta foram cortados para 2,0.

Continue, porque a geometria dos nats não é linear. Chegar a 1,9 nats soa como diferença de arredondamento; em perplexidade isso é $e^{1.9}\approx6.7$, uma redução de quase dez por cento em candidatos efetivos. Cada nat removido divide o fator de branching por $e\approx2.72$. É por isso que curvas de loss que parecem planas no fim do treinamento ainda representam progresso real, e igualmente por que um décimo de nat vale discussão.

Aqui está o erro clássico, e ele sobrevive até em comparações publicadas. Dois modelos reportam cross-entropy média de 2,0 e 2,3 nats. É tentador concluir que o primeiro é melhor. Pode nem ser comparável: se o segundo modelo usa um tokenizador mais grosseiro, seus tokens carregam mais texto cada, então ele faz menos previsões, e mais difíceis, sobre o mesmo documento. Loss por token não é loss por unidade de texto. A correção é normalizar por algo independente do tokenizador — bits por byte ou bits por caractere, como a lição 1.7 preparou — antes de comparar entre vocabulários. Dentro de um mesmo tokenizador, loss por token é exatamente a moeda certa; entre tokenizadores, é um erro de categoria.

Estabilidade numérica é o outro ponto onde implementações erram. Exponenciar logits grandes causa overflow, e probabilidades minúsculas do softmax sofrem underflow para zero antes que um logaritmo possa ser tirado. Bibliotecas então fundem log-softmax com negative log-likelihood usando a identidade log-sum-exp, geralmente subtraindo antes o logit máximo. Dois modos de falha decorrem de ignorar isso: passar probabilidades já softmaxadas para uma primitiva que espera logits, o que silenciosamente aplica softmax duas vezes e achata a distribuição, e tirar o log de um zero materializado, o que gera um infinito que se propaga pelo batch inteiro.

Dois detalhes de redução merecem cuidado porque mudam o objetivo silenciosamente. A loss do batch é uma média ou soma sobre exemplos e, para modelos de linguagem, sobre posições de token; posições de padding e rótulos ignorados precisam de uma máscara para não contribuírem nem ao numerador nem ao denominador. Fazer a média por token pesa todo token igualmente, enquanto fazer a média por sequência pesa toda sequência igualmente — objetivos diferentes, e a diferença aparece sempre que os comprimentos variam. Alvos suaves mudam o problema de novo: com uma distribuição alvo $q$ a loss vira $L=-\sum_i q_i\log p_i$, que é como label smoothing e destilação de conhecimento funcionam. Essas são decisões de modelagem, não conveniências numéricas.

Uma auditoria prática usa logits que você consegue computar à mão. Verifique que elevar o logit da classe correta baixa a loss, que deslocar todos os logits por uma constante não muda nada, que posições ignoradas não contribuem, e que a média reportada usa o denominador que você pretendia. Essas quatro invariantes pegam softmax duplo, deslocamentos de rótulo por um, e bugs de padding que uma curva longa e suavemente decrescente esconderia por dias.