Inicialização, normalização e residuals

1

Conceito

Redes profundas repetem transformações, portanto pequenos problemas de escala se acumulam. Se toda camada amplifica variância, activations e gradientes explodem. Se toda camada reduz, sinais desaparecem. Inicialização, normalização e residual connections atacam partes diferentes: escala inicial dos parâmetros, escala das features durante o treino e comprimento do caminho transformacional.

A inicialização precisa quebrar simetria. Se unidades começam com pesos idênticos, recebem gradientes iguais e permanecem duplicadas. Valores aleatórios quebram a simetria, mas variância arbitrária é perigosa. Esquemas conscientes da variância usam fan-in e às vezes fan-out, números de conexões de entrada e saída. Xavier/Glorot serve a certas activations simétricas; escala He considera que ReLU descarta o lado negativo.

As fórmulas são premissas iniciais, não garantias. Activation, gating, profundidade residual, pesos compartilhados e precisão afetam propagação. Biases frequentemente começam em zero porque pesos aleatórios já quebram simetria, embora gates específicos usem valores deliberados. Monitorar estatísticas reais é mais seguro que tratar o nome do initializer como prova.

LayerNorm atua na dimensão de features de um exemplo ou token. Dado $x$, subtrai a média, divide pelo desvio padrão mais epsilon e aplica scale e bias aprendidos. Ao contrário de BatchNorm, não precisa de estatísticas do batch e funciona naturalmente com sequências variáveis e inferência autorregressiva.

RMSNorm simplifica a operação ao escalar pela root mean square sem subtrair a média. Mantém scale aprendido, e implementações variam em dtype e epsilon. Dizer que é “igual, só que mais rápida” é amplo demais: velocidade depende de kernels e hardware, e retirar o centering muda a matemática. Evidência da arquitetura deve decidir.

Uma residual connection calcula $y=x+F(x)$ quando os shapes coincidem. Se $F$ começa pequeno ou se torna desnecessário, informação segue pelo caminho de identidade. Gradientes também têm uma rota aditiva direta, sem atravessar somente todas as transformações. O bloco aprende uma correção residual em vez de recriar a representação inteira.

A posição da normalização cria pre-norm e post-norm. Um bloco pre-norm simplificado usa $x+F(\operatorname{Norm}(x))$; post-norm aplica $\operatorname{Norm}(x+F(x))$. A escolha muda o caminho do gradiente e a escala vista pela sublayer. Pre-norm costuma facilitar profundidade, mas qualidade final, residual scaling e detalhes impedem regra universal.

Os mecanismos funcionam como sistema. Inicialização torna o primeiro update significativo. Normalização contém a escala em evolução. Residuals preservam rotas pela profundidade. Nenhum corrige objetivo errado, vazamento de dados ou avaliação ruim. Seu valor é infraestrutura: tornam composição profunda treinável para que attention e MLPs aprendam transformações úteis em vez de gastar a otimização combatendo colapso numérico.

Uma checagem empírica passa inputs representativos antes do treino e registra, por camada, média e root mean square das activations e norma do gradiente depois de uma loss. Procure colapso monotônico, crescimento explosivo, branches mortas e saltos nas somas residuais. Repita na precisão real do treino. Isso testa se initializer, epsilon, residual scaling e implementação realizam juntos o regime pretendido.

Compare ainda train e eval mode quando houver módulos com comportamento dependente do modo. Uma normalização aplicada no eixo errado pode manter valores finitos e, mesmo assim, misturar tokens ou exemplos que deveriam permanecer independentes. Assertions sobre eixo, shape e dtype transformam a intenção matemática num contrato verificável.