Funções de loss e cross-entropy

1

Conceito

Uma função de loss converte a saída do modelo e o target num escalar que a otimização reduz. A escolha define o que conta como erro durante o treinamento. Mean squared error penaliza distância numérica ao quadrado e serve a vários problemas de regressão. Cross-entropy avalia distribuições previstas e é central na classificação e nos modelos de linguagem. Nenhuma mede universalmente a qualidade do produto.

Na classificação multiclasse, a rede emite um logit $z_i$ por classe. Logits são scores livres. Softmax os transforma em probabilidades:

Somar a mesma constante a todos os logits não altera as probabilidades; importam diferenças relativas. Os resultados são positivos e somam um, combinando com um resultado categórico em que ocorre uma classe.

Se a classe observada é $y$, cross-entropy one-hot simplifica para

Probabilidade próxima de um para a classe correta gera loss perto de zero. Probabilidade minúscula gera loss grande. A assimetria é útil: previsão confiante e errada é punida muito mais que uma incerta. Cross-entropy é diferenciável em relação aos logits e oferece sinal denso para todas as classes.

Para soft targets, $L=-\sum_i q_i\log p_i$, onde $q$ é a distribuição-alvo. Label smoothing reserva massa para outras classes em vez de usar one-hot exato. Knowledge distillation pode empregar a distribuição de uma teacher. Essas escolhas mudam o problema de aprendizagem; não são meros truques numéricos.

Estabilidade numérica importa. Exponenciais de logits grandes causam overflow, e probabilidades pequenas sofrem underflow até zero antes do log. Bibliotecas implementam cross-entropy a partir de logits com log-softmax e a identidade log-sum-exp, normalmente subtraindo o maior logit. Aplicar softmax manualmente e depois log é menos estável e pode duplicar softmax se a loss já espera logits.

A loss do batch costuma ser média ou soma sobre exemplos e, em language models, posições. Padding e labels ignorados exigem máscara para não entrar na loss nem no denominador. Média por token dá peso igual a cada token; média por sequência dá peso igual a cada sequência. A redução faz parte do objetivo e deve ser relatada quando comprimentos diferem.

Desbalanceamento de classes e danos assimétricos podem exigir pesos, resampling, focal loss ou política de decisão separada. Loss média menor pode coexistir com desempenho pior numa classe crítica rara. A loss de treino também difere de métricas como accuracy, F1, erro de calibração e sucesso na tarefa. Um surrogate diferenciável só é útil se sua relação com a decisão real for verificada.

Num modelo causal, o target de cada posição é o próximo token. Um forward no treino produz logits para muitas posições, e cross-entropy mascarada calcula a média do negative log das continuações observadas. O modelo aprende distribuição, não flag de verdade. A loss mede ajuste ao dataset tokenizado; factualidade, segurança, utilidade e raciocínio exigem evidências próprias.

Uma auditoria prática usa logits calculáveis à mão. Verifique que elevar o logit correto reduz a loss, deslocar todos os logits pela mesma constante não muda nada, posições ignoradas não contribuem e a média usa o denominador esperado. Essas invariantes pequenas encontram double-softmax, deslocamento errado de labels e bugs de padding que uma curva longa e descendente consegue esconder.