Layouts híbridos: três DeltaNet, uma attention

01 · Conceito

Conceito

Você agora tem dois mixers e um problema de projeto. Full attention expõe keys e values por token ao longo do contexto: uma query pode endereçar diretamente qualquer posição passada, embora isso não garanta recuperação literal, ao preço de armazenar keys e values do contexto inteiro e relê-los a cada passo. Gated DeltaNet é barato: estado de tamanho constante, custo por token constante em qualquer comprimento, ao preço de uma compressão aprendida com perdas — um quadro fixo não pode prometer recall perfeito de um recorte arbitrário de meio milhão de tokens atrás. Um modelo que quer um contexto nativo de 262.144 tokens precisa decidir, camada a camada, qual preço pagar. A resposta do Qwen3.8-27B é um layout híbrido: um motivo de quatro camadas — Gated DeltaNet, DeltaNet, DeltaNet, full attention — repetido dezesseis vezes. São 48 camadas DeltaNet, 16 camadas de attention, um arquivista a cada quarto andar.

Percorra as consequências de memória passo a passo, porque a leitura intuitiva as inverte. O reflexo diz: quarenta e oito camadas recorrentes, cada uma arrastando uma matriz de estado de token em token — certamente aí é que mora a memória de contexto longo, com as dezesseis camadas de attention como erro de arredondamento. Agora confira cada tipo contra o seu contrato de verdade. O estado de uma camada DeltaNet é um conjunto fixo de matrizes, editado no lugar; o token 200.000 custa exatamente o que custou o token 200, e a camada não armazena nada por token. Uma camada de attention é o oposto: seu acesso direto por posição depende de armazenamento — cada token gerado acrescenta keys e values que todas as queries futuras podem consultar, então sua memória cresce linearmente com o contexto, multiplicada por todas as dezesseis camadas desse tipo. Na janela nativa completa, os totais não chegam perto: o key-value cache das dezesseis camadas de attention chega a cerca de 16 GiB por sequência, enquanto todos os quarenta e oito estados DeltaNet juntos ocupam cerca de 144 MiB quando a implementação de referência mantém o estado recorrente em fp32, constantes no comprimento; outro dtype de runtime mudaria a contagem de bytes — um contraste de mais de duas ordens de grandeza, na direção oposta à do reflexo. A lição 7.2 deriva ambos os números a partir das contagens de heads e das dimensões; aqui o que importa é o formato do resultado: o tipo de camada minoritário domina a conta de memória precisamente por ser o tipo que lembra de tudo.

Essa assimetria é o argumento inteiro a favor da proporção. Se toda camada fosse full attention, o cache crescente seria quatro vezes maior e contextos longos ficariam inviáveis por memória. Se toda camada fosse DeltaNet, o modelo enfrentaria recuperação de agulha no palheiro — citar o número de série exato da página dois de um documento de quatrocentas páginas — armado apenas de resumos com perdas. A mistura 3

O que faz a mistura funcionar como um modelo só, e não como dois intercalados, é o contrato de bloco da lição 4.11. Ambos os tipos de camada leem o mesmo residual stream de 5120 dimensões através do mesmo RMSNorm em pre-norm e somam de volta atualizações do mesmo shape. Uma recuperação feita pela camada de attention do andar 3 — uma representação roteada de um token distante por attention endereçada por conteúdo — é escrita no stream, onde as camadas DeltaNet dos andares 4 a 6 podem transformá-la, roteá-la e construir sobre ela com sua maquinaria barata. O arquivista recupera; os editores processam. Divisão de trabalho, coordenada pelo quadro compartilhado, com a mesma FFN gated fazendo a transformação pesada de features em cada andar dos dois tipos.

O layout também molda onde diferentes capacidades podem morar. Operações entre partes do contexto que se beneficiam de acesso direto por posição — copiar um identificador longo, casar um parêntese aberto 100.000 tokens atrás, indução sobre repetições distantes — precisam passar por uma das dezesseis camadas de attention, porque só elas conseguem endereçar posições arbitrárias sem compressão em estado fixo. Processamento ponderado por recência, composição local e acumulação de estado corrente cabem naturalmente na maioria DeltaNet, cuja convolução de kernel 4 e estado com gate dão conta de estrutura de curto e médio alcance sem tocar num depósito crescente. Trabalho de interpretabilidade em modelos híbridos parte desse mapa: se um comportamento exige acesso direto de longo alcance, você sabe quais dezesseis camadas vasculhar.

O Qwen não inventou o padrão — 2025–26 produziu uma família de projetos assim, intercalando blocos de state-space ou de linear attention com full attention nas linhagens estilo Jamba e Granite-H —, mas uma proporção de 3

Aonde isso leva é a inferência. O layout híbrido é, no fundo, uma aposta sobre economia de serving: a de que um modelo pode manter a qualidade de recuperação de attention encolhendo para um quarto das camadas a memória que cresce por token — e a de que isso determina quais contextos, batch sizes e hardware são viáveis. Precificar essa aposta exige derivar a aritmética do cache direito: bytes por token por camada, por sequência, por gigabyte de memória do acelerador. Essa derivação — e a contabilidade completa de 16 GiB contra aproximadamente 144 MiB em fp32 na implementação de referência que esta lição apenas insinuou — é a lição 7.2, onde o KV cache ganha tratamento próprio.