Overfitting, regularização e a bitter lesson

1

Conceito

Um modelo generaliza quando padrões aprendidos no treino sustentam desempenho em exemplos novos da distribuição pretendida. Overfitting não é simplesmente ter muitos parâmetros ou training loss baixa. É a diferença entre ajustar a amostra observada e funcionar em casos representativos inéditos. Modelo pequeno pode overfit; grande pode generalizar, conforme dados, objetivo, treino e tarefa.

Os splits têm papéis distintos. Training atualiza parâmetros. Validation orienta arquitetura, hiperparâmetros, parada e thresholds. Test estima o processo final selecionado. Consultar test repetidamente e adaptar decisões transforma-o em validation, deixando a métrica otimista. Exemplos quase duplicados ou vazamento temporal comprometem todos os splits mesmo com código formalmente correto.

Learning curves revelam padrões. Se training e validation loss são altas, pode haver underfitting ou otimização insuficiente. Se training cai enquanto validation sobe, continuar ajustando prejudica generalização naquela distribuição. Curvas precisam de incerteza entre seeds e eixos como exemplos ou tokens processados. Distribution shift pode invalidar uma validação limpa após o deploy.

Weight decay desencoraja parâmetros grandes sob uma regra definida. Dropout mascara activations durante o treino, reduzindo dependência de uma coadaptação exata. Data augmentation injeta variação que preserva labels quando a transformação é válida. Early stopping escolhe checkpoint antes da piora em validation. Modelos menores, compartilhamento, ruído e label smoothing também regularizam. Cada um codifica premissas; augmentation inválida ensina invariância errada.

Mais dados de qualidade frequentemente são o regularizer mais forte. Diversidade reduz a chance de um atalho caber em tudo. Deduplicação impede repetições memorizadas de dominar. Exemplos difíceis e caudas representativas revelam falhas. Quantidade não salva labels errados, contaminação, populações ausentes ou objetivo desalinhado. Evidência de scaling deve dizer qual dimensão cresceu e quais foram controladas.

A bitter lesson é um argumento histórico: métodos de IA que aproveitam compute crescente por aprendizagem e search repetidamente superaram sistemas baseados em extensa estrutura manual do domínio. O alerta é contra investir sobretudo em decomposição humana frágil que não escala. Não é teorema de que modelos maiores sempre vencem nem licença para ignorar eficiência, governança, avaliação ou segurança.

Deep learning moderno complica a história de que “capacidade causa overfitting”. Redes muito superparametrizadas interpolam dados e ainda generalizam em alguns regimes. Vieses implícitos de otimização, arquitetura, estrutura dos dados e escala importam. Contagem de parâmetros isolada é diagnóstico fraco. Curvas empíricas, ablations, checagem de contaminação e testes fora da distribuição pesam mais.

A disciplina prática é definir a população futura antes de celebrar fit. Mantenha caminho verdadeiramente held-out, registre decisões e avalie slices onde dano se concentra. Use regularização para codificar premissas defensáveis, não como saco de truques. Prefira métodos escaláveis, reconhecendo que compute amplifica consequências de dados e objetivos. Generalização se prova em evidência nova, nunca pela beleza da curva de treino.

Quando a distribuição muda no tempo, acrescente um holdout temporal aos splits aleatórios. Ele expõe dependência de templates antigos, entidades repetidas ou pistas que não existirão no futuro. Registre também quantas escolhas foram feitas olhando validation: depois de muitas tentativas, até esse conjunto fica indiretamente overfit e merece uma avaliação final realmente intocada.

Documente antecipadamente a unidade de split para impedir que versões do mesmo exemplo atravessem conjuntos diferentes.