O bloco feed-forward e onde o conhecimento vive

1

Conceito

Attention recebe a maior parte da publicidade por criar ligações visíveis entre posições. Mesmo assim, grande parte dos parâmetros e compute de um Transformer denso vive na feed-forward network (FFN), também chamada MLP. Attention roteia informação; a FFN a transforma.

O bloco original aplica duas transformações lineares com uma não linearidade no meio:

A primeira projeção expande de $d_{model}$ para uma largura intermediária $d_{ff}$. A segunda volta a $d_{model}$ para o resultado se juntar ao residual stream. Os mesmos pesos servem a todas as posições, processadas em paralelo. Não existe mistura entre tokens dentro dessa FFN comum.

A expansão importa porque um espaço intermediário largo representa muitos detectores de features. Uma linha de $W_1$ responde quando o vetor residual se alinha à direção aprendida. A activation function suprime ou remodela a resposta. Colunas de $W_2$ escrevem combinações das features ativadas de volta ao espaço do modelo. Isso se parece mais com um banco aprendido de padrões que com uma camada extra genérica.

Variantes usam ReLU, GELU ou ativações com gate, como SwiGLU. Uma FFN gated forma duas projeções: uma produz candidatos e outra controla sua intensidade, seguida de multiplicação elemento a elemento e projeção de saída. Ao comparar versões, é preciso ajustar o orçamento de parâmetros; citar apenas a largura intermediária pode representar mal a capacidade.

Pesquisas descrevem FFNs como key–value memories: direções de entrada agem como keys reconhecendo padrões, e direções de saída escrevem informação associada. É uma lente produtiva. Uma ativação escondida pode responder a um padrão textual e adicionar uma feature útil para a continuação provável.

Mas “os fatos vivem na FFN” é literal demais. Comportamento emerge do cálculo completo. Embeddings estabelecem features; attention recupera sinais contextuais; conexões residuais sobrepõem atualizações; normalização muda escala efetiva; várias FFNs se compõem; a projeção final lê o estado. Uma associação factual pode depender de uma rota longa. Neurônios individuais não são linhas de banco de dados com rótulos estáveis.

Considere o token “Paris” depois de attention reunir features do padrão “capital da França é”. A FFN pode detectar a conjunção e escrever algo que o language-model head associa à continuação provável. Em outro contexto, “Paris” chega com outro estado e ativa outro subconjunto da mesma FFN compartilhada.

O bloco é caro porque as projeções largas tocam todo token. Para comprimento fixo, sua aritmética pode rivalizar ou superar attention, principalmente em contextos não muito longos. Arquiteturas mixture-of-experts substituem uma FFN densa por router e vários experts, ativando poucos por token. Isso muda capacidade e comunicação, mas preserva o papel de transformar cada posição.

Ao inspecionar uma FFN, acompanhe shapes e efeitos residuais: quais direções ativam, o que escrevem, quão grande é a atualização e se camadas posteriores a preservam. Ativação sozinha não é causalidade; ablation ou intervenção controlada produz evidência mais forte.

O modelo estável alterna comunicação e computação. Attention traz contexto relevante a cada endereço. A FFN expande o estado local, seleciona features não lineares e comprime uma atualização de volta ao residual stream.