Gated DeltaNet: o mixer em 48 das 64 camadas

01 · Conceito

Conceito

Attention responde a toda pergunta relendo o passado inteiro: a query de cada novo token varre todas as keys armazenadas, e o depósito cresce sem limite. A lição 3.6 mostrou a alternativa — linear attention como uma rede recorrente cujo estado é uma única matriz de fast weights, escrita por produtos externos e lida por queries — e também mostrou seu defeito: uma memória à qual você só pode somar é uma memória que interfere consigo mesma. O Qwen3.8-27B aposta a maior parte da sua profundidade na versão consertada. Quarenta e oito das suas sessenta e quatro camadas misturam tokens não com attention, mas com Gated DeltaNet, e esta lição abre esse mixer.

Comece pela falha, de forma concreta. Fast weights aditivas mantêm $S_t = S_{t-1} + v_t k_t^{\top}$ e respondem queries com $S_t q_t$. Guarde “a capital é Paris” sob a key $k$ e depois — o governo mudou — guarde “a capital é Brasília” sob a mesma key. Percorra a atualização ingênua passo a passo: após a primeira escrita, $S k = v_{\text{Paris}}$ (tome $k$ com norma unitária). Após a segunda, $S k = v_{\text{Paris}} + v_{\text{Brasília}}$. A memória agora recupera uma superposição de um fato velho e um fresco, e cada reuso posterior da key aprofunda a pilha. Nada na regra aditiva consegue algum dia remover informação.

A delta rule conserta a atualização lendo antes de escrever. Primeiro pergunte à memória o que ela devolve no momento para a key que chega: $\hat v = S_{t-1}k_t$. Depois escreva apenas o erro, escalado por uma força de escrita dependente dos dados $\beta_t \in (0,1)$:

Refaça o exemplo da capital com $\beta = 1$: o fator $(I - k k^{\top})$ apaga exatamente o que $k$ recuperava — $v_{\text{Paris}}$ — e o produto externo escreve $v_{\text{Brasília}}$ em seu lugar. A recuperação agora devolve o fato atual, limpo. A memória se tornou corretora de erro: escritas são substituições ao longo da direção da key, e $\beta_t$ permite ao modelo escolher, token a token, entre deixar o slot intacto ($\beta\to 0$) e sobrescrevê-lo ($\beta\to 1$).

Falta um conserto. A delta rule edita uma direção de key por passo, então conteúdo velho em direções nunca revisitadas permanece para sempre. Gating acrescenta esquecimento uniforme e aprendido — a forma amadurecida da ideia de gate da lição 3.3 — por meio de um decaimento por passo $\alpha_t \in (0,1)$:

Esta é a atualização Gated DeltaNet de Yang, Kautz e Hatamizadeh: apagamento preciso e direcionado vindo da delta rule, desbotamento global vindo do gate, ambos computados a partir do próprio token. O lado da saída lê o quadro editado com uma query, exatamente como em linear attention.

Agora a instanciação do Qwen3.8-27B. Cada camada DeltaNet roda a recorrência em heads, mas com uma assimetria que inverte aquela que você conhece de attention: 16 QK heads e 48 V heads, todos com head dimension 128. Nas camadas de attention, grouped-query attention compartilha poucos KV heads entre muitos query heads; aqui, o endereçamento é a mercadoria compartilhada — as keys e queries de cada QK head servem a três value heads, então a camada mantém 48 quadros de estado $128\times 128$ separados, indexados por 16 esquemas de endereçamento. Capacidade de conteúdo é abundante; maquinaria de endereçamento é economizada. Antes de tudo isso, as sequências projetadas passam por uma convolução causal depthwise curta com kernel 4, dando a cada atualização um vislumbre barato das últimas posições — padrões locais como bigramas de tokens não precisam consumir o estado recorrente.

Por que dar a esse mixer 48 das 64 camadas? Porque seu perfil de custo é a imagem espelhada do de attention. O estado por camada é um conjunto fixo de matrizes $128\times128$ — cerca de 3 MiB por camada no caminho float32 de referência, um número que não cresce, quer o contexto tenha cem tokens, quer tenha 262.144 (a lição 7.2 coloca números exatos nisso e na conta contrastante de attention). Decodificar avança o estado em tempo constante por token. E como a atualização é linear em $S$, o treino pode processar sequências em chunks paralelos em vez de estritamente passo a passo. O que o quadro de tamanho fixo não consegue é garantir recall exato de um token arbitrário meio milhão de passos atrás — ele é uma compressão aprendida e com perdas. Por isso o Qwen não usa DeltaNet em todo lugar: a cada quarta camada mantém-se full attention, e a divisão de trabalho entre os dois é o assunto da lição 4.16.

Da perspectiva do residual stream, nada desse drama é visível. A camada DeltaNet lê um estado normalizado de 5120 dimensões, roda conv, projeções, recorrência e gating de saída, e soma de volta uma atualização de 5120 dimensões — o mesmo contrato que todo mixer honra. Os tensores do checkpoint que você ainda não sabia nomear na lição 4.14 — as projeções linear_attn, a convolução de kernel 4, os parâmetros de decaimento — são precisamente a maquinaria de $\alpha_t$, $\beta_t$, $k_t$, $v_t$, $q_t$ que agora você consegue ler. O que resta é a pergunta arquitetural: dado um mixer com acesso direto por posição e custo crescente e outro barato mas com perdas, em que proporção você os mistura, e por que três para um? Esse é o tema da próxima lição.