O bloco feed-forward e onde o conhecimento vive

01 · Conceito

Conceito

Comece com uma pergunta de contabilidade. O Qwen3.8-27B é anunciado com cerca de 27 bilhões de parâmetros — então onde eles ficam fisicamente? Attention leva a publicidade porque desenha ligações visíveis entre tokens, mas se você abrir o checkpoint e somar os tamanhos dos tensores, a resposta é pouco glamourosa: cerca de 17 bilhões de parâmetros, a clara maioria do modelo, vivem na feed-forward network (FFN) repetida em cada uma das 64 camadas. Attention roteia informação; a FFN a transforma; e a FFN é onde reside a maior parte da capacidade aprendida.

O bloco Transformer original aplica dois mapas lineares com uma não linearidade entre eles:

A primeira projeção expande da largura do modelo $d_{model}$ para uma largura intermediária maior $d_{ff}$; a segunda projeta de volta para que o resultado possa se juntar ao residual stream. Os mesmos pesos se aplicam a todas as posições da sequência, as posições são processadas em paralelo e nenhuma informação se move entre tokens dentro do bloco.

O Qwen3.8-27B usa o descendente gated dessa ideia. Sua FFN forma três projeções em vez de duas:

$W_{gate}$ e $W_{up}$ expandem, ambas, o hidden state de 5120 dimensões para uma largura intermediária de 17.408. O caminho do gate passa pela SiLU — a ativação suave $z\,\sigma(z)$, onde $\sigma$ é a sigmoide logística — e multiplica o caminho up elemento a elemento. Uma projeção propõe features candidatas; a outra decide, feature por feature, com que intensidade cada uma dispara. $W_{down}$ então comprime as 17.408 ativações de volta para 5120 para a soma residual.

Agora conte os parâmetros, e conte do jeito que a maioria erra na primeira vez. O instinto treinado na fórmula de duas matrizes diz: duas matrizes de $5120\times 17408\approx 89.1$ milhões de entradas cada, ou seja, cerca de 178 milhões de parâmetros por camada. Isso esquece o gate. O bloco gated guarda três matrizes — gate e up em $5120\times 17408$, down em $17408\times 5120$ — cada uma com cerca de 89,1 milhões de parâmetros, dando aproximadamente 267 milhões por camada. Multiplique por 64 camadas e as FFNs sozinhas respondem por cerca de 17 bilhões de parâmetros do total de ~27 bilhões. As projeções do lado de attention, em comparação, são uma fração pequena do orçamento de uma camada. Cada matriz da FFN também custa cerca de 89,1 milhões de multiply-adds por token, então esse bloco domina tanto a computação quanto o armazenamento para comprimentos de contexto típicos.

Por que gastar o orçamento em largura? Um espaço intermediário largo é um grande banco de detectores de padrão. Uma linha de $W_{gate}$ ou $W_{up}$ responde com força quando o vetor residual que chega se alinha à sua direção aprendida; o gate suprime ou admite essa resposta; colunas de $W_{down}$ então escrevem combinações das features sobreviventes de volta no espaço de 5120 dimensões do modelo. O bloco se comporta menos como uma “camada extra” genérica e mais como um dicionário de features aprendido, consultado em cada posição.

A pesquisa refinou essa intuição na lente de key–value memory: direções de entrada agem como keys que reconhecem padrões, direções de saída como values que escrevem a informação associada. É um quadro produtivo. Uma ativação oculta pode responder a um padrão como “capital da França é”, montado por attention no token “Paris”, e adicionar uma feature que o output head associa a uma continuação provável. Também ajuda a explicar por que edições direcionadas na FFN podem mudar o comportamento factual.

Note o que a FFN nunca vê: posição. O bloco aplica pesos idênticos no token 3 e no token 200.000, e não realiza nenhuma operação entre posições. Tudo que é posicional que você estudou nas últimas lições — RoPE rotacionando queries e keys, ALiBi adicionando penalidades dependentes de distância aos scores de attention — atua dentro da subcamada de mistura, nunca aqui. Se a FFN numa posição se comporta diferente de outra, é porque attention entregou conteúdo residual diferente, não porque a FFN sabe onde está.

Escolhas arquiteturais posteriores remodelam a economia desse bloco, não seu papel. Modelos esparsos de mixture-of-experts substituem uma FFN densa por um router e várias FFNs expert, ativando um subconjunto por token; o Qwen3.8-27B não faz isso — suas FFNs são densas, e cada token paga os 267 milhões de parâmetros completos por camada. Ao inspecionar uma FFN real, acompanhe tanto shapes quanto efeitos no residual: quais direções ativam, o que escrevem, quão grande é a atualização em relação ao stream existente e se camadas posteriores a preservam. Ativação sozinha não é causação; ablação e intervenção controlada dão evidência mais forte.

O modelo mental estável é um ritmo de fábrica. Attention é o entregador levando a cada endereço suas anotações selecionadas. A FFN é a oficina mecânica: expande o estado local por 17.408 bancadas, aplica gate com SiLU em cada bancada e comprime uma atualização de volta na esteira compartilhada. Sessenta e quatro oficinas em fila, guardando dezessete bilhões dos vinte e sete bilhões de peças — é aqui, bem literalmente, que a maior parte do modelo vive.