Self-attention a partir de princípios básicos: Q, K, V

01 · Conceito

Conceito

O embedding de um token é uma consulta sem contexto. O token “banco” recebe o mesmo vetor inicial em “banco do rio” e em “conta no banco”, mas um modelo útil precisa tratar essas duas ocorrências de forma diferente. Esse é o problema concreto: transformar uma identidade estática de token numa representação que dependa da sequência ao redor. Self-attention é a operação que faz isso — cada posição decide quanta informação vai buscar em cada outra posição permitida. As próprias posições são saídas do tokenizador da lição 1.2; no Qwen3.8-27B cada uma delas é um vetor de 5120 números, o hidden size do modelo.

Represente a sequência como uma matriz $X$: uma linha por posição de token, 5120 features por linha. A camada de attention aprende três matrizes de projeção, $W_Q$, $W_K$ e $W_V$, produzindo

Os nomes descrevem papéis, não entradas diferentes. Queries expressam o que cada posição receptora está procurando. Keys descrevem como cada posição disponível deve ser encontrada. Values contêm a informação que pode ser transferida. Toda posição cria as três a partir da sua representação atual.

Agora o exemplo trabalhado, com shapes reais. Um primeiro palpite razoável — e o clássico palpite errado — é que cada projeção mapeia o hidden size nele mesmo: $5120 \to 5120$, uma matriz quadrada. A configuração do Qwen3.8-27B refuta isso. As camadas de Gated Attention do modelo usam 24 query heads, cada uma de dimensão 256. A projeção de query precisa produzir todas elas, então o query state é o número de heads vezes a dimensão de head:

Esses 6144 são a largura do query state, e ela é genuinamente não quadrada — $6144 - 5120 = 1024$ mais larga do que uma matriz quadrada seria. A matriz de pesos que a produz é mais larga ainda. Estas são camadas de attention com porta (attn_output_gate na config), e a porta está fundida na mesma projeção: q_proj emite número de heads vezes dimensão de head duas vezes, $24 \times 256 \times 2 = 12288$. A divisão é por head, não ao meio — a saída é vista como 24 heads de $256 \times 2$, e o último eixo de cada head é cortado em 256 valores de query e 256 de porta. Junte as metades de query e você tem o query state de 6144; junte as metades de porta e você tem um segundo 6144 que nunca entra na matriz de scores. Em vez disso, depois que a atenção roda, sua saída é escalada elemento a elemento por $\sigma(\text{porta})$ e só então projetada. Em disco, portanto, o tensor é $5120 \to 12288$; só metade dele vira query. Keys e values são ainda mais estreitos: o modelo tem apenas 4 KV heads (um projeto grouped-query coberto na lição 7.6), então

e tanto a projeção de key quanto a de value são $5120 \to 1024$. Depois que os heads calculam suas saídas e são concatenados de volta à largura 6144, uma projeção de saída mapeia $6144 \to 5120$ para que o resultado caiba de novo no residual stream. Quatro retângulos, nenhum quadrado: $q: 5120 \to 12288$ (queries e porta juntas), $k: 5120 \to 1024$, $v: 5120 \to 1024$, $o: 6144 \to 5120$. Note que a entrada de $o$ tem 6144 de largura, não 12288: o que chega até ela é a saída da atenção concatenada e escalada pela porta, que por acaso tem a mesma largura do query state. A porta é aplicada elemento a elemento logo antes de $o$, então escala o que $o$ recebe sem alargá-lo.

Com os shapes resolvidos, o mecanismo: para uma posição receptora, pegue sua query e calcule o produto escalar com cada key. Um produto escalar maior significa direções mais compatíveis. Todos os pares de uma vez formam a matriz de scores $QK^\top$. Escale pela raiz quadrada da dimensão de head (assunto da lição 4.3) e normalize cada linha com softmax:

As saídas do softmax são os pesos de attention: não negativos, cada linha somando um. Multiplicar por $V$ dá a cada posição de query uma soma ponderada de vetores de value. Essa é a separação crucial — keys decidem onde ler, values determinam o que é lido. Se keys e values fossem forçados a ser os mesmos vetores, endereçamento e conteúdo compartilhariam uma única representação e cada um comprometeria o outro.

Considere “O chef adicionou sal porque a sopa estava sem graça.” A query em “graça” pode casar com as keys de “sopa” e “estava” mais fortemente do que com a key de “chef”. Sua nova representação então mistura informação de value dessas posições. Em outra frase o mesmo token parte do mesmo embedding, mas termina em outro lugar. Essa é a mistura contextual que nos propusemos a construir.

A palavra self significa que queries, keys e values vêm de uma única sequência. Modelos decoder-only como o Qwen3.8-27B acrescentam um causal mask — a posição $i$ não pode ler posições depois de $i$ —, tema que a lição 4.4 desenvolve. E um único cálculo de attention não é encarregado de capturar todas as relações: as projeções são divididas nos 24 heads paralelos mencionados acima, assunto da lição 4.5. O bloco completo acrescenta conexões residuais, normalização e uma rede feed-forward; attention é a operação de roteamento dentro desse sistema maior.

Duas propriedades computacionais importam mais adiante. Primeira, todos os scores por pares são operações matriciais, então o treinamento processa as posições em paralelo. Segunda, a matriz de scores tem uma entrada para cada par de posições, gerando crescimento quadrático no comprimento da sequência — a conta que a lição 4.3 quantifica no comprimento de contexto real desse modelo e que a track 7 trabalha para reduzir.

Pesos de attention são evidência sobre roteamento, não prova de raciocínio. Um peso alto mostra que um head transferiu informação de value por uma aresta, numa camada; residual streams, outros heads e camadas posteriores podem amplificar ou cancelar isso. O modelo mental durável é o de uma consulta diferenciável: cada posição escreve uma pergunta, veste um crachá e oferece um conteúdo, e as projeções que definem os três são aprendidas de ponta a ponta.