"Attention Is All You Need" em contexto

01 · Conceito

Conceito

Comece pelo problema concreto da tradução automática da era de 2016. Para traduzir uma frase de cem tokens, uma rede recorrente lê o token um, atualiza um estado oculto, depois lê o token dois, e assim por diante: cem passos estritamente sequenciais. A informação do primeiro token só chega ao centésimo sobrevivendo a noventa e nove atualizações de estado. O treinamento é lento porque nenhum passo pode começar antes de o anterior terminar, e o sinal de longo alcance é frágil porque atravessa todos os passos intermediários.

A primeira correção óbvia — a que o campo de fato tentou — foi fortalecer a recorrência: gates de LSTM e GRU para proteger o estado, pilhas mais profundas, vetores ocultos maiores. Ajudou, mas atacou o termo errado. Os gates melhoraram o que sobrevive a cada repasse; não fizeram nada quanto ao número de repasses. A cadeia de dependências, e não o design da célula, era o gargalo. A correção foi remover a cadeia por inteiro.

Attention Is All You Need, publicado em junho de 2017, propôs uma arquitetura encoder–decoder cuja rota principal entre posições da sequência usava attention em vez de recorrência ou convolução. Duas propriedades decorrem disso, e um pequeno exemplo trabalhado torna ambas visíveis. Pegue uma sequência de quatro tokens. Uma RNN precisa de 3 atualizações sequenciais de estado antes que o último token seja processado, e o caminho do token 1 ao token 4 atravessa todas as 3. Attention, em vez disso, calcula uma pontuação para cada par permitido de posições: $4 \times 4 = 16$ pontuações, todas produzidas juntas numa única multiplicação de matrizes, e o caminho do token 1 ao token 4 é uma única aresta direta. Escale isso para comprimento $n$: a profundidade sequencial permanece constante enquanto o trabalho por pares cresce como $n^2$. O Transformer trocou um gargalo sequencial por um quadrático — uma troca que fez sentido porque aceleradores são excelentes em grandes multiplicações de matrizes paralelas e péssimos em longas cadeias dependentes.

O slogan é memorável, mas fácil de interpretar longe demais. Um Transformer não é só attention. O sistema original continha embeddings de tokens, positional encodings, multi-head attention, redes feed-forward por posição, conexões residuais, layer normalization, uma projeção de saída, softmax e um objetivo de treinamento. “Tudo de que você precisa” significava que attention podia substituir as camadas recorrentes e convolucionais de mistura de sequência naquele projeto. Não significava que embeddings, transformações não lineares, otimização ou informação de ordem tinham desaparecido.

Encoder e decoder tinham trabalhos diferentes: self-attention bidirecional no encoder, self-attention causal mais cross-attention no decoder. Famílias posteriores mantiveram subconjuntos diferentes — BERT encoder-only, GPT decoder-only, T5 encoder–decoder — e a pilha causal decoder-only virou o formato padrão dos grandes modelos de linguagem. Leia qualquer um deles como duas operações alternadas: attention permite que posições troquem informação, e a rede feed-forward transforma cada posição de forma independente, com caminhos residuais carregando o estado em evolução através das duas.

O custo quadrático foi o preço. Para uma sequência de comprimento $n$, attention convencional forma da ordem de $n^2$ pontuações por pares por head, e esse custo retorna com força quando as janelas de contexto alcançam centenas de milhares de tokens. A track 7 trata, em grande parte, de pagar, esquivar ou reestruturar essa conta.

Este curso estuda um modelo de 2026 em produção contra aquela baseline de 2017, e a comparação é o resumo mais limpo do que durou. O Qwen3.8-27B mantém as três ideias estruturais: attention como roteamento dependente de conteúdo, uma rede feed-forward em cada camada e um residual stream pre-norm atravessando todas as 64 camadas. Ele substitui a pilha uniforme: em vez de attention em toda camada, repete um padrão 3