Residuals, pre-norm versus post-norm

1

Conceito

Um Transformer não passa a saída de cada camada para a seguinte como substituição total. Ele mantém um residual stream e pede a cada subcamada uma atualização. Para uma transformação $F$, o padrão é

O termo identidade $x$ abre um caminho direto para a informação. A camada aprende uma correção pequena e útil em vez de reconstruir a representação. Em backpropagation, gradientes também ganham uma rota aditiva que não multiplica pela Jacobiana de toda subcamada. Isso não elimina exploding ou vanishing gradients, mas torna profundidade muito mais administrável.

Attention e FFN escrevem nesse stream. Depois de attention, o estado contém as features anteriores e uma atualização de comunicação. Depois da FFN, contém esse resultado e uma atualização não linear por posição. O residual stream não é a saída de um componente; é um espaço de trabalho comum acumulando features sobrepostas.

Normalização controla escala e distribuição vistas pelas transformações. LayerNorm calcula estatísticas na dimensão de features de um token e aplica escala e deslocamento aprendidos. Muitos decoders modernos usam RMSNorm, que normaliza a magnitude RMS sem subtrair a média. A questão de posição permanece: normalizar antes da subcamada ou depois da soma residual?

O Transformer original usava post-norm:

O estado combinado é normalizado depois de cada atualização. Uma alternativa moderna comum é pre-norm:

Cada subcamada recebe input normalizado, enquanto o caminho principal continua sendo uma soma identidade. Pilhas pre-norm profundas costumam otimizar com maior confiabilidade porque o gradiente encontra uma rota mais limpa. É uma tendência empírica, não prova de que pre-norm sempre atinge melhor qualidade.

As duas formas também produzem dinâmicas distintas. Post-norm reescala repetidamente o stream combinado. Pre-norm permite que sua magnitude cresça com atualizações acumuladas, então a arquitetura pode usar uma normalização final e escalas residuais. Inicialização, profundidade, learning rate, precisão e optimizer interagem com a escolha.

Dropout, quando existe, costuma ser aplicado ao branch antes da soma, não ao caminho identidade. Isso preserva a rota confiável enquanto regulariza atualizações. Em inference, dropout é desativado. Métodos como stochastic depth podem remover branches inteiros durante treinamento, novamente confiando na identidade.

A expressão “residual stream” ajuda a interpretar. Muitas features estão sobrepostas no mesmo espaço, e componentes leem e escrevem nele. A saída de uma attention head pode ser cancelada, carregada por várias camadas ou transformada depois. Observar somente uma subcamada ignora o estado já presente e as operações posteriores.

Um hábito de debugging é registrar normas de $x$, de $F(\cdot)$ e da soma. Uma atualização que domina o stream pode desestabilizar; uma sempre desprezível pode indicar branch morto. São diagnósticos, não thresholds universais.

O quadro durável é edição colaborativa. O residual stream preserva o documento atual. Cada subcamada normalizada lê esse documento e propõe uma mudança estruturada. A posição da normalização decide se a calibração ocorre antes do trabalho especializado ou depois da incorporação da edição.