Linear attention e fast weights

01 · Conceito

Conceito

Attention paga pela própria memória do jeito mais literal possível: guarda tudo. Para produzir o token $t$, uma camada de attention causal compara a query nova com a key de cada posição anterior e mistura seus values:

Conte o que esse passo custa de verdade. O plano ingênuo — o que todo decoder com attention segue — armazena os $t$ vetores passados de key e value e faz $t$ comparações de similaridade para o token novo. O token um custa uma comparação, o token mil custa mil, o token $n$ custa $n$: o trabalho por token é $O(n)$ no comprimento do contexto, e as keys e values armazenadas crescem sem limite. Esse depósito é o KV cache, e a lição 7.2 deriva seu preço para o modelo do curso: no Qwen3.8-27B, no contexto nativo de 262.144 tokens, as keys e values em cache das camadas de attention chegam a 16 GiB para uma única sequência. A camada retém cada registro passado de key e value e dá à query nova um caminho ponderado direto para cada um. Isso evita a compressão em estado fixo, mas o softmax ainda forma uma mistura ponderada e não garante a recuperação exata de um token armazenado arbitrário.

A lição 3.2 mostrou o desenho oposto: uma RNN carrega um hidden state de tamanho fixo, paga o mesmo custo a cada passo e não armazena nada por token. A pergunta desta lição é se o comportamento de endereçamento da attention cabe dentro de um estado de tamanho fixo.

Katharopoulos et al. (2020) perceberam que o obstáculo é o softmax. Troque a similaridade exponencial por um feature map $\phi$, de modo que o peso da posição $i$ seja proporcional a $\phi(q_t)^{\top}\phi(k_i)$, e a soma vira associativa:

As duas somas deixam de depender da query, então podem ser mantidas incrementalmente. Defina um estado matricial e um normalizador:

e a saída é uma única leitura, $o_t=\dfrac{S_t^{\top}\phi(q_t)}{z_t^{\top}\phi(q_t)}$. Repare no que aconteceu: isso é uma recorrência. A mesma regra de atualização em toda posição, estado de tamanho fixo, trabalho constante por token — o projeto de RNN da lição 3.2, exceto que o hidden state agora é uma matriz $d\times d$ de associações key-para-value em vez de um vetor. O custo por token cai de $O(n)$ para $O(1)$, e a memória, de ilimitada para constante.

Aqui vem o desvio clássico. A atualização aditiva só sabe somar. Grave o value $v_a$ sob uma key, depois grave um $v_b$ diferente sob uma key quase idêntica, e a leitura devolve uma mistura dos dois; a associação velha nunca é removida, e conforme milhares de escritas se superpõem, a interferência cresce. A linear attention inicial abriu mão da precisão da softmax attention e teve desempenho inferior ao dela em tarefas que exigiam recall exato — por isso passou anos como a ideia “derrotada”. A conclusão tentadora é que isso é fundamental: um estado de tamanho fixo não consegue esquecer seletivamente, então o borrão com perdas seria o preço inevitável do $O(1)$. Essa conclusão está errada, e o conserto estava havia décadas na teoria de memórias associativas: mude a escrita, não o tamanho.

A delta rule torna a escrita corretora de erros. Antes de escrever, recupere o que o estado prevê para a key que chega — lendo do mesmo jeito que qualquer query é lida, $S_{t-1}^{\top}\phi(k_t)$ — e escreva apenas a diferença:

com $\beta_t\in(0,1)$ uma força de escrita aprendida. Percorra os dois casos. Se o estado já guarda $v_t$ para essa key, o erro é quase zero e o estado fica em paz. Se guarda algo desatualizado, a atualização usa esse erro para mudar o estado ao longo da direção da key que chega — uma escrita corretora de erro, não uma sobrescrita exata, cujo efeito depende de $\beta_t$, das features de key e da interferência de outras associações. Cada passo é um passo de gradient descent online sobre o erro de recuperação da própria memória: o estado aprende enquanto o modelo roda. DeltaNet é linear attention com essa escrita; adicionar os gates de esquecimento aprendido da lição 3.3 — um decay sobre $S_{t-1}$ para o estado também desbotar o que não importa mais — produz o Gated DeltaNet (Yang et al., 2024), que a lição 4.15 disseca por completo.

E é exatamente essa diferença que fez a ideia derrotada de 2020 virar arquitetura de produção em 2026. O Qwen3.8-27B, o espécime deste curso, constrói 48 das suas 64 camadas como Gated DeltaNet e mantém softmax attention completa em apenas 16, uma a cada quatro (Qwen3.8-27B Model Card, 2026). No caminho float32 de referência atual do Transformers, o estado recorrente de cada camada DeltaNet ocupa cerca de 3 MiB; nas 48 camadas, algo em torno de 144 MiB — constante, tenha a sequência cem tokens ou 262.144 — contra os 16 GiB que o KV cache das camadas de attention atinge no contexto completo. O híbrido é uma confissão de engenharia de que as duas classes de função merecem o lugar: memória fixa corretora de erros para comprimento barato, umas poucas camadas de acesso a key e value por posição para buscas que a compressão em estado fixo não consegue representar de modo confiável. A RNN não perdeu para a attention afinal; ela se retirou, aprendeu a escrever como uma memória e voltou como a maior parte do modelo.