Quando o treino dá errado: spikes, divergência, NaNs

01 · Conceito

Conceito

Duas semanas dentro de uma run, o dashboard mostra a loss média de treino subindo de 2,05 para 2,59 e ficando ali. Não é dramático. Ninguém chamaria isso de catástrofe. O engenheiro de plantão anota, não vê NaN e deixa o job continuar. Seis horas e uma quantidade considerável de tempo de cluster depois, alguém abre a visão por rank e descobre que 63 ranks estão treinando normalmente em 2,0 enquanto o rank 41 está parado em 40,0 desde o momento do degrau. A média global nunca mentiu; ela estava fazendo média.

Faça essa aritmética, porque é a razão inteira de existir telemetria por rank:

Um rank em falha completa move o número da manchete em meio nat. Com dezesseis vezes mais ranks, ele o moveria em três centésimos. Fazer média é um filtro passa-baixa exatamente sobre o sinal de que você mais precisa, e quanto maior o job, mais eficazmente ele esconde a coisa que o matou.

A segunda metade de ler bem as anomalias é saber o que significa um nat. Da lição 5.1, a cross-entropy média é a média do logaritmo negativo da probabilidade dos tokens corretos, portanto $e^{-L}$ é sua probabilidade média geométrica. Predição uniforme sobre 248.320 classes dá $\ln 248{,}320\approx 12.42$ nats: uma baseline útil de referência, não um teto. A NLL não tem limite superior finito porque a probabilidade do token correto pode tender a zero. Um salto de 2,05 para 2,90 move a média geométrica de $e^{-2.05}\approx 0.129$ para $e^{-2.90}\approx 0.055$. Isso quantifica a mudança, mas não a diagnostica. A distância da baseline uniforme não distingue sozinha reset, batch corrompido, falha de rank ou divergência real de otimização.

Com essa calibração no lugar, o vocabulário das falhas fica utilizável. Um loss spike é uma subida súbita seguida de recuperação ou escalada. Ele pode vir de um batch genuinamente difícil, tokenização corrompida, uma mudança abrupta de mistura, um problema de scheduler, ativações explodindo, um overflow de precisão ou um rank alimentando valores inválidos rio abaixo. O formato sozinho não identifica nenhum deles; compare losses por token, valores por rank, normas de gradiente, normas de ativação e o manifesto de entrada antes de formar uma hipótese. Spikes alinhados exatamente com um restart apontam para estado de scheduler, optimizer ou cursor de dados em vez dos dados, que é por que a lição 5.11 insistiu que a posição do scheduler é estado de checkpoint.

Divergência significa que a trajetória para de voltar à sua faixa anterior e piora persistentemente. Learning rate excessivo, warmup insuficiente, inicialização ruim, estado de optimizer corrompido, dados patológicos repetidos ou uma receita de precisão empurrada para fora da sua faixa estável contribuem todos. Crucialmente, um modelo pode permanecer inteiramente finito enquanto já diverge — o que faz de “espere até algo virar NaN” um detector que dispara muito depois de a run ainda valer a pena salvar.

NaN e infinito são sinais aritméticos terminais, não diagnósticos. Rastreie o primeiro tensor não finito com hooks ou instrumentação de anomalia em vez de raciocinar de trás para frente a partir de onde ele apareceu, porque camadas posteriores espalham o valor dentro de um único forward pass e o primeiro relato costuma estar bem rio abaixo da causa. Overflow de softmax, divisão por zero, raízes quadradas inválidas, alcance do fp16, redução de gradientes e updates do optimizer são todos candidatos. Sob a receita de mixed precision da lição 5.9 o caso do fp16 é mecânico: o máximo do formato é 65.504, então com uma loss scale de 65.536 qualquer gradiente acima de aproximadamente 1,0 transborda para infinito, e o trabalho do scaler é detectar isso, pular o passo e reduzir a escala pela metade para 32.768 — o que é uma resposta controlada, não um incidente.

A arquitetura faz parte da história da estabilidade, e o config deste modelo mostra os dispositivos com clareza. RMSNorm com epsilon 1e-6 num residual stream pre-norm é a base: normalizar antes de cada sublayer estabiliza a escala vista por ela e melhora o comportamento dos gradientes. O próprio residual stream não é normalizado depois de cada soma e pode crescer com a profundidade, como explica a lição 4.10; pre-norm não o limita. A feed-forward com gate multiplica um gate ativado por SiLU contra a up-projection antes de o intermediário de 17.408 de largura ser projetado de volta para baixo, de modo que um bloco pode atenuar a própria contribuição em vez de ser forçado a emitir alguma coisa. E o gate no Gated DeltaNet governa quanto cada passo escreve e decai do estado recorrente de tamanho fixo — precisamente o controle que a lição 3.2 identificou como ausente nas redes recorrentes ingênuas, cujos estados cresciam ou desapareciam sem limite. Um stack híbrido que carrega estado recorrente por 48 das suas 64 camadas seria um pesadelo de estabilidade sem ele.

A sequência forense em si é sem glamour e funciona. A cada checkpoint, retenha o suficiente para reproduzir de perto: modelo, optimizer, scheduler, loss scaler, geradores de números aleatórios, cursor do data loader, estado da mistura, topologia, revisão do código, configuração e eventos recentes de infraestrutura como substituição de nó ou retry de rede. Registre identificadores estáveis de documento e de batch sem copiar texto sensível para logs gerais. Quando algo dispara, comece do último checkpoint conhecido como bom e reproduza o mesmo batch. Se a falha se reproduzir, rode-a de novo num dispositivo só num dtype mais largo e valide faixas de token, máscaras, fronteiras de sequência, alvos e pesos de amostra. Se não se reproduzir, olhe para não determinismo, coletivos, corrupção de memória e telemetria de hardware, e compare um rank saudável contra o que falha.

A recuperação depende de qual desses foi. Coloque em quarentena uma amostra comprovadamente corrompida sob uma política de dados auditável. Baixe a loss scale para um overflow de fp16. Restaure o estado do optimizer se ele estiver corrompido. Uma redução temporária do learning rate pode carregar uma run por cima de um spike de otimização, mas torná-la permanente cria um experimento novo, que precisa ser descrito como tal. Reverter os pesos sem reverter o cursor de dados ou repete o gatilho ou o esconde.

Controles preventivos são mais baratos do que qualquer uma dessas coisas: gradient clipping, normalização estável, inicialização conservadora, warmup adequado, checagens de valor finito em fronteiras selecionadas, validação de entrada, checkpoints protegidos por checksum e pilotos canário. Checagens síncronas demais custam throughput, então combine sinais baratos de alta frequência com sondagens profundas ocasionais. Anote as curvas de loss com checkpoints, restarts, mudanças de topologia, transições de mistura e mudanças de taxa, e compare contra tokens processados em vez de timestamps de relógio.

O princípio operacional é falhar visivelmente e recuperar de forma reprodutível. Spikes são sintomas, valores não finitos são propagação, divergência é uma trajetória — e um sistema sério de treino consegue rastrear cada um deles até dados, numérica, otimização ou infraestrutura, e depois demonstrar que a run retomada volta ao caminho em que estava.