Scaled dot-product attention e a raiz de d_k

1

Conceito

Self-attention começa com uma medida simples de compatibilidade: o produto escalar entre query e key. Quando dois vetores apontam em direções semelhantes, o produto tende a ser grande e positivo. Quando estão pouco alinhados, ele fica menor ou negativo. Para as matrizes $Q$ e $K$, todas as comparações aparecem em $QK^\top$. A escala bruta, porém, muda quando a dimensão do vetor muda.

Escreva uma pontuação como

Para a intuição usada no artigo original, suponha componentes independentes, com média zero e variância um. Cada produto $q_i k_i$ tem variância próxima de um. Somar $d_k$ termos dá $\operatorname{Var}(s)\approx d_k$, então o desvio-padrão cresce como $\sqrt{d_k}$. Uma head de 256 dimensões produz variação maior que uma de 16, mesmo que as estatísticas dos componentes sejam comparáveis.

Attention envia cada linha de pontuações para softmax. Como softmax aplica exponenciais, a escala importa muito. Pontuações [0,2, 0,1, 0] geram um resultado distribuído. Pontuações [20, 10, 0] produzem algo quase vencedor-leva-tudo. O ranking é o mesmo, mas a segunda distribuição se comporta como se o modelo tivesse certeza extrema. Quando probabilidades chegam perto de zero ou um, gradientes úteis podem ficar pequenos.

Scaled dot-product attention corrige o efeito da dimensão:

Dividir por $\sqrt{d_k}$ normaliza aproximadamente o desvio-padrão sob as hipóteses anteriores. Não força variância exatamente um num modelo treinado nem normaliza individualmente queries ou keys. Projeções aprendidas, correlações e ativações reais violam a história limpa de independência. Mesmo assim, a escala remove o crescimento mais óbvio causado pela largura.

O divisor também funciona como uma temperature fixa. Softmax com temperature é $\operatorname{softmax}(s/T)$; aqui, $T=\sqrt{d_k}$. Temperature maior achata a distribuição; menor a torna mais aguda. Em attention, a escala acompanha a dimensão da head, em vez de ser um controle de decoding. O modelo ainda aprende padrões mais fortes ou suaves alterando as normas de queries e keys.

Estabilidade numérica acrescenta outro detalhe. Implementações práticas subtraem o máximo de cada linha antes da exponencial. Subtrair uma constante não muda as proporções, mas impede overflow de uma pontuação positiva grande. Isso resolve overflow numérico; não resolve saturação causada por diferenças entre pontuações. A divisão pela raiz ataca a segunda fonte.

Considere produtos brutos [8,4,0] com $d_k=64$. A escala produz [1,0,5,0]. Softmax consegue atribuir massa útil aos três itens, permitindo que gradientes ajustem cada relação. Sem a escala, a primeira key dominaria cedo demais, antes de o treinamento ter evidência para tanta certeza.

A lição vai além do denominador. Quando uma soma reúne muitas contribuições aproximadamente independentes, sua magnitude típica cresce com o número de termos. Enviar essa soma a uma não linearidade sensível altera o comportamento apenas porque a largura mudou. O Transformer compensa com uma escala derivada da variância e conserva o roteamento numa região treinável.