O bloco completo, montado

1

Conceito

As peças agora formam uma interface repetida. Um bloco Transformer decoder-only, pre-norm, recebe um tensor $x$ de shape $B\times T\times d_{model}$ e devolve o mesmo shape. Por dentro, ele expande, divide em heads e forma matrizes quadradas, mas a fronteira permanece estável para dezenas ou centenas de blocos se empilharem.

Conceitualmente, são duas equações:

Dropout ou residual scaling podem aparecer nos branches. Arquiteturas post-norm movem a normalização para depois de cada soma. A interface continua sendo estado existente mais atualização aprendida.

Abra o branch de attention. Features normalizadas viram $Q$, $K$ e $V$, mudam de shape para heads e são comparadas por scaled dot products. A máscara causal remove arestas futuras. Softmax converte cada linha de query em pesos que misturam values. As heads são concatenadas, a projeção recupera $d_{model}$ e o resultado é escrito no residual stream.

Abra a FFN. O stream atualizado é normalizado, expandido, transformado por activation ou gate e projetado de volta. A operação é compartilhada entre posições, mas não troca informação entre elas. Ela reconhece e transforma combinações de features trazidas pelo stream.

A alternância é o coração da arquitetura. Attention faz token mixing: cada posição recebe informação de outras posições permitidas. A FFN faz channel mixing: cada posição recombina suas próprias features de forma não linear. Repetir o par permite compor rotas e transformações. Uma camada inicial recolhe uma pista sintática local; uma FFN a codifica; outra head leva essa feature para longe.

Embeddings ficam antes da pilha. Token IDs viram vetores, e o modelo fornece posição por embedding absoluto, RoPE, relative bias ou outro esquema. Uma normalização final costuma fechar a pilha. O language-model head mapeia cada posição a logits do vocabulário. Weight tying pode reutilizar a matriz de embeddings nessa projeção.

Rastrear shapes evita erros. Com $B=8$, $T=512$, $d_{model}=768$ e 12 heads, cada head comum tem largura 64. As pontuações têm shape $8\times12\times512\times512$. Depois da mistura, o tensor volta a $8\times12\times512\times64$ e concatena para $8\times512\times768$. A FFN expande o último eixo, mas precisa voltar antes da soma.

Memória não segue só parâmetros. A matriz de attention e intermediários de backward escalam com $T^2$ em implementações convencionais. Ativações da FFN escalam com $T d_{ff}$. Treinamento guarda ou recompõe dados para gradientes; decode armazena keys e values. O mesmo bloco pressiona hardware de formas distintas em pretraining, prefill e decode.

Uma anatomia útil preserva propriedade e causalidade: o residual stream é central; normalização o lê; attention e FFN são branches que devolvem updates. Desenhar como se o stream atravessasse attention e perdesse o estado anterior esconde a razão do aprendizado residual.

O bloco montado é compacto. Seu poder vem da largura, profundidade, dados e composição repetida, não de uma lista longa de operações. Entender a interface permite ler implementações reais sem confundir kernels fundidos ou nomes diferentes com matemática diferente.