Overfitting, regularização e a lição amarga

01 · Conceito

Conceito

Um modelo chega a uma loss de treino de 0,05 enquanto o de um colega chega a 0,40. Qual é melhor? A resposta honesta é que a pergunta é inrespondível como está posta, e a razão disso é o assunto desta lição.

Um modelo generaliza quando padrões aprendidos dos dados de treino sustentam desempenho em exemplos novos vindos da distribuição que ele de fato vai enfrentar. Overfitting é a distância entre ajustar a amostra observada e ter desempenho em casos representativos não vistos. Não é a mesma coisa que ter muitos parâmetros e não se diagnostica por uma loss de treino baixa. Um modelo pequeno pode sofrer overfitting feio; um modelo enorme pode generalizar bem. O que decide é evidência de dados nos quais o modelo não treinou.

Essa evidência precisa ser estruturada deliberadamente. O conjunto de treino atualiza parâmetros. Um conjunto de validação guia arquitetura, hiperparâmetros, ponto de parada e limiares. Um conjunto de teste estima o sistema finalmente selecionado. A regra que as pessoas quebram é a última: confira o conjunto de teste repetidamente, adapte-se ao que vê, e ele silenciosamente virou um conjunto de validação, de modo que o número reportado está otimista por uma quantidade desconhecida. Pior e mais comum, documentos quase duplicados ou exemplos vazados no tempo podem corromper todas as divisões enquanto o código de divisão permanece formalmente correto.

Curvas de aprendizado são como a distância fica visível. Se as losses de treino e de validação estão ambas altas, o modelo pode estar em underfitting ou a otimização pode estar quebrada. Se a loss de treino cai enquanto a de validação sobe, continuar ajustando já está prejudicando o desempenho sob aquela distribuição de validação. Curvas precisam de incerteza entre sementes e de um eixo horizontal significativo — tokens ou exemplos processados, não épocas, quando os tamanhos de batch diferem entre as execuções comparadas.

O catálogo de regularizadores é curto e cada entrada codifica uma premissa. Weight decay desencoraja parâmetros grandes, como a lição 2.7 detalhou. Dropout mascara ativações aleatoriamente durante o treino para que a rede não possa depender de uma coadaptação exata. Aumento de dados injeta variação que preserva o rótulo — válido apenas quando a transformação de fato preserva o rótulo, já que um aumento inválido ensina uma invariância errada com total confiança. Early stopping escolhe um checkpoint antes de o desempenho de validação degradar. Label smoothing, compartilhamento de parâmetros e simplesmente usar um modelo menor pertencem à mesma lista.

Em grande escala, o próprio dataset passa a fazer parte do projeto de regularização. Cobertura mais representativa pode reduzir erro amostral, diversidade pode expor atalhos que só funcionam numa fatia estreita, e deduplicação pode limitar a influência de exemplos repetidos. Nada disso torna os dados um regularizador universalmente dominante nem torna dropout, weight decay e early stopping obsoletos. O valor relativo de cada opção depende da distribuição dos dados, do objetivo, da arquitetura, da otimização e da evidência de avaliação. Trate cada uma como escolha empírica a ser testada por ablação, não como uma hierarquia válida em todo regime de treino.

O deep learning moderno também complica a velha história de que capacidade causa overfitting. Redes fortemente superparametrizadas conseguem interpolar seus dados de treino e ainda generalizar, em regimes nos quais vieses implícitos do otimizador, da arquitetura e da estrutura dos dados fazem o trabalho que a regularização explícita costumava fazer. A contagem de parâmetros por si só é, portanto, um diagnóstico ruim. Curvas empíricas, ablações, checagens de contaminação e testes fora da distribuição é que carregam a evidência.

A disciplina de trabalho é pouco glamourosa. Defina a população que você de fato pretende atender antes de comemorar uma curva de treino. Mantenha um caminho genuinamente isolado e registre toda decisão de seleção tomada contra a validação. Avalie as fatias onde dano ou falha se concentram, e não apenas o agregado. Use regularização para codificar premissas que você consegue defender, e não como um saco de interruptores. Prefira métodos de aprendizado escaláveis, lembrando que o compute amplifica as consequências dos seus dados e do seu objetivo nas duas direções. Generalização se demonstra com evidência nova e nunca pela beleza de uma curva de loss.

Uma última nota prática: quando a distribuição futura muda ao longo do tempo, acrescente um holdout baseado em tempo ao lado da divisão aleatória. Ele expõe dependência de templates envelhecidos e de entidades repetidas que o embaralhamento aleatório esconde por completo.