RNNs, estado de tamanho fixo e o vanishing gradient

01 · Conceito

Conceito

A lição 3.1 formulou a pergunta do estado e esboçou duas respostas extremas. Esta lição leva a sério a resposta de tamanho fixo, descobre exatamente por que ela perdeu a discussão de 2017 e então reporta algo surpreendente: o projeto que perdeu roda hoje em três quartos das camadas do modelo deste curso.

Uma rede neural recorrente é a implementação mínima de um estado carregado e limitado:

Uma transição, reutilizada em toda posição. Leia isso como um misturador de sequência: informação da posição 12 só chega à posição 40.000 tendo sobrevivido dentro de $h$ por 39.988 aplicações da mesma função. A memória é constante, o trabalho por token é constante, e nada é armazenado por posição. A aritmética da lição 3.1 já disse o preço — o canal limitado — então esta lição trata do segundo preço, que acabou sendo pior.

Desenrole as equações e algo importante fica visível: uma RNN sobre uma sequência de comprimento $T$ é uma rede de profundidade $T$ cujas camadas compartilham parâmetros. Tempo de sequência e profundidade de rede são o mesmo eixo. Tudo o que a lição 2.8 disse sobre efeitos que se compõem ao longo de 64 camadas vale aqui ao longo de 40.000 passos.

Para aprender que um token inicial causou um erro tardio, o treino usa backpropagation through time: desenrolar o grafo, diferenciar e acumular as contribuições de gradiente de cada uso das matrizes compartilhadas. A derivada do estado $h_T$ de volta até o estado $h_k$ contém uma jacobiana por passo intermediário, todas multiplicadas.

Ponha números nisso, no cenário mais simples possível. Tome uma recorrência escalar $h_t=\tanh(w\,h_{t-1}+x_t)$. Cada passo contribui com um fator $w\cdot\tanh'(\cdot)$, e como $\tanh'$ é no máximo um, o fator é no máximo $|w|$. Faça $w=0.5$ e olhe ao longo de 50 passos: o produto é no máximo $0.5^{50}\approx8.9\times10^{-16}$. Esse valor continua representável em bf16, cuja faixa de expoentes coincide com a do float32, mas é um sinal de aprendizagem relativo extremamente pequeno e pode ser encoberto quando acumulado com contribuições muito maiores. O estado inicial recebe pouquíssima informação utilizável sobre como deveria mudar para reduzir uma loss cinquenta passos adiante — é o problema do vanishing gradient. Agora faça $w=1.5$. O produto chega a $1.5^{50}\approx6.4\times10^{8}$, então uma atualização pode ficar grande o bastante para desestabilizar o treino: exploding gradients. Entre os dois há uma faixa estreita, e o $\tanh$ a estreita ainda mais, porque uma unidade saturada contribui com derivada perto de zero e puxa o produto para baixo mesmo com um $w$ bem escolhido.

Repare com cuidado no que falhou e no que não falhou. O estado para a frente ainda pode carregar informação utilizável sobre o passado distante. O que quebra é a atribuição de crédito: o treino não consegue descobrir qual computação inicial mudar. É por isso que o problema é invisível num diagrama de forward pass e fatal na prática.

Aqui vem o desvio clássico, e ele é quase universal entre quem encontra essas duas falhas pela primeira vez. O treino explode, você adiciona gradient clipping, o treino estabiliza, e você conclui que a patologia do gradiente está resolvida. Não está. Gradient clipping reescala um gradiente cuja norma passa de um limiar — ele age depois da diferenciação, sobre a magnitude. No clipping de norma padrão, o fator de escala é limitado a um: gradientes grandes encolhem, enquanto gradientes pequenos permanecem inalterados. Isso controla a explosão e é prática padrão por bons motivos, mas não faz nada pelo vanishing porque não consegue reconstruir informação já atenuada pelo produto longo de jacobianas. O diagnóstico que separa os dois casos: rode uma tarefa sintética com um único marcador relevante posicionado a distâncias crescentes da previsão, e trace tanto a acurácia quanto a norma do gradiente no marcador contra a distância. Se a curva desaba na direção do acaso com clipping ligado, o crédito distante nunca foi restaurado, e nenhum ajuste de limiar de clipping vai mudar isso.

As mitigações que de fato atacam o vanishing atacam o produto em si, não a saída dele. Inicialização ortogonal mantém a jacobiana recorrente perto de preservar norma no começo. Backpropagation truncado encurta a janela desenrolada, o que poupa memória e computação enquanto limita explicitamente até onde o crédito pode viajar — uma limitação real, que pertence ao modelo reportado e não é uma otimização de graça. Caminhos aditivos de estado, que a lição 3.3 constrói com gates, deixam um componente atravessar passos sem passar por uma transformação não linear completa a cada vez. E attention, que chega na lição 3.5, contorna a cadeia inteira criando uma aresta direta entre posições distantes.

Attention venceu, e venceu por dois motivos ao mesmo tempo: removeu o produto longo do caminho do gradiente e tornou o treino paralelo entre posições, já que a representação de cada posição pode ser calculada simultaneamente em vez de esperar pela anterior. A execução sequencial foi possivelmente a derrota mais decisiva — um projeto que não consegue saturar um acelerador moderno durante o treino perde independentemente dos seus outros méritos.

A aritmética que torna o reparo valioso é a da lição 3.1. Um estado de tamanho fixo custa o mesmo no token um e no token 262.144; no Qwen3.8-27B as camadas recorrentes somam cerca de 144 MiB de estado float32 de referência no total, constante no comprimento da sequência, enquanto as keys e values armazenadas das camadas de attention chegam a 16 GiB no contexto completo, como a lição 7.2 deriva. Esse abismo é a razão pela qual alguém se deu ao trabalho de consertar a RNN, e vale levá-lo para as próximas quatro lições.