Inicialização, normalização e residuais

01 · Conceito

Conceito

Aqui vai uma pergunta com resposta alarmante. O Qwen3.8-27B empilha 64 camadas, cada uma carregando um hidden state de 5120 dimensões por token (Qwen3.8-27B Model Card, 2026). Suponha que cada camada, em média, multiplique por 1,1 a escala do que passa por ela — uma amplificação de dez por cento, que soa inofensiva. Depois de 64 camadas o sinal foi multiplicado por $1.1^{64}\approx446$. Agora suponha que o fator seja 0,9: $0.9^{64}\approx0.0012$, e o sinal sumiu. Profundidade compõe. Uma rede não perdoa pequenos erros de escala; ela os eleva à potência da própria profundidade, no forward pass e de novo no backward pass, onde os mesmos produtos governam se um gradiente chega à camada um.

Três mecanismos administram isso, cada um atacando uma parte diferente do problema: a inicialização define a escala inicial, a normalização controla a escala em evolução, e conexões residuais encurtam o caminho.

A inicialização primeiro, porque ela precisa fazer duas coisas ao mesmo tempo. Ela tem de quebrar simetria — se toda unidade de uma camada começa idêntica, elas recebem gradientes idênticos e permanecem duplicatas para sempre — e tem de controlar variância. Esquemas conscientes de variância escalam pesos aleatórios pelo fan-in, o número de conexões que chegam, e às vezes pelo fan-out: Xavier/Glorot para ativações simétricas, escalonamento no estilo He para compensar o fato de a ReLU descartar cerca de metade do sinal. Essas são premissas de partida, não garantias, porque gating, profundidade residual e precisão perturbam todos a propagação. Biases costumam ser zero, já que a aleatoriedade nos pesos já quebra a simetria.

Agora a ideia estrutural que tornou possível a profundidade de verdade. Uma conexão residual computa

quando os shapes batem. Leia isso como uma afirmação sobre responsabilidade: o trabalho do bloco é computar uma correção a ser somada ao que já existe, e não reconstruir a representação do zero. Se $F$ não contribui com nada útil, a informação ainda flui intocada pelo caminho identidade. No backward, a derivada de $y$ em relação a $x$ contém um termo identidade aditivo, então o gradiente alcança camadas anteriores sem ter de sobreviver ao produto de toda jacobiana intermediária.

Isso cria o que os praticantes chamam de residual stream: um vetor de 5120 de largura por token que entra no embedding, viaja a profundidade inteira do modelo, e é escrito por toda subcamada no caminho. Cada bloco de attention ou feed-forward lê dele, computa alguma coisa e soma o resultado de volta. Nada o sobrescreve. O stream é a memória de trabalho do modelo, e as 64 camadas são 128 contribuições sucessivas a ele.

O que levanta a questão de escala de novo, numa forma mais aguda. Se um bloco recém-iniciado soma ao stream uma contribuição de magnitude comparável a cada passo e as contribuições são aproximadamente independentes, a variância do stream se acumula aditivamente — ou seja, sua magnitude RMS cresce como $\sqrt{\text{profundidade}}$, de modo que na camada 64 ela está cerca de oito vezes o que era na camada um. Subcamadas fundo na pilha receberiam entradas uma ordem de magnitude maiores que subcamadas perto da entrada, e toda matriz de pesos teria de lidar com escalas de operação muito diferentes dependendo de onde ela por acaso estivesse.

A normalização é a resposta, e a colocação dela é o design inteiro. Um bloco pre-norm computa

que é o que o Qwen3.8-27B usa (Qwen3.8-27B Model Card, 2026). A normalização fica no ramo, não no stream. Cada subcamada recebe uma cópia reescalada do hidden state — sempre numa magnitude familiar, esteja ela na camada 3 ou na camada 61 — enquanto o stream em si segue pelo caminho identidade sem operação alguma aplicada a ele.

O normalizador específico é o RMSNorm. Para um vetor oculto $x$ com $d$ entradas ele computa

com um ganho aprendido por feature $g$ e um estabilizador pequeno $\varepsilon$, convencionalmente em torno de $10^{-6}$. Passe um vetor por ele. Digamos que o hidden state de um token na camada 40 tenha valor RMS de 12,0 ao longo das suas 5120 entradas. O denominador é $\sqrt{144+10^{-6}}=12.0$ em qualquer precisão que importe, então toda entrada é dividida por 12 e a subcamada vê um vetor de RMS unitário. Agora considere uma posição quase morta cujas entradas estão todas em torno de $10^{-5}$: a média dos quadrados é $10^{-10}$, dez mil vezes menor que $\varepsilon$, então o epsilon domina a raiz quadrada e a saída é escalada para baixo rumo a zero em vez de explodir por uma divisão por quase nada. É precisamente esse o trabalho do epsilon — ele não é um remendo de arredondamento, é a guarda que mantém a operação definida no fundo da faixa.

Note o que a RMSNorm não faz: ela nunca subtrai a média. A LayerNorm centraliza o vetor de features antes de escalar; a RMSNorm apenas reescala.

O erro clássico aqui é de colocação. O Transformer original usava post-norm, $y=\operatorname{Norm}(x+F(x))$, que põe uma operação de normalização no próprio stream. Funciona, e em profundidade moderada funciona bem. Mas destrói o caminho identidade limpo: o gradiente fluindo para trás agora precisa atravessar uma normalização em cada um dos 64 passos, e as pilhas profundas resultantes são notoriamente frágeis de treinar, exigindo warmup cuidadoso e às vezes falhando de vez. Mover a norm para o ramo — a mudança de uma linha do post-norm para o pre-norm — restaura a rodovia aditiva desobstruída, e é por isso que pre-norm é o padrão em essencialmente todo modelo grande lançado desde então.

Esses mecanismos são infraestrutura, e importa que você os leia como tal. Nenhum deles decide o que o modelo aprende. Eles tornam a composição profunda numericamente sobrevivível para que os blocos de attention e feed-forward da track 4 possam gastar o orçamento de otimização aprendendo transformações úteis em vez de lutar contra o colapso. A lição 4.10 volta a esse arranjo com o bloco transformer completo à vista.

Uma checagem empírica é barata e vale construir cedo. Antes do treinamento, empurre entradas representativas pelo modelo e registre médias de ativação por camada, valores RMS e normas de gradiente após uma loss. Procure colapso monotônico, crescimento explosivo, ramos mortos e descontinuidades nas somas residuais — e rode isso na precisão em que você de fato vai treinar, já que o arredondamento em bf16 faz parte do sistema que você está testando.