Positional encoding I: senoidal e aprendido

01 · Conceito

Conceito

Tudo o que foi construído nesta track até aqui tem um ponto cego, e ele é fácil de enunciar concretamente. Alimente a pilha de attention com os vetores de token de “cachorro morde pessoa” e depois com os mesmos três vetores reordenados como “pessoa morde cachorro”. Attention compara vetores por conteúdo: cada produto escalar query–key entre o mesmo par de vetores é idêntico nos dois casos, então as saídas são os mesmos vetores, apenas reordenados do mesmo jeito que as entradas foram. Essa equivariância a permutações significa que o modelo literalmente não consegue dizer quem mordeu quem. (O causal mask da lição 4.4 restringe quais pares interagem, o que quebra a simetria só parcialmente — ele diz quem vem antes, não a que distância nem onde.) A linguagem precisa de ordem; attention sozinha não a enxerga.

Tente a primeira correção óbvia: anexar a posição como um número extra, de modo que o token na posição 7 receba uma feature de valor 7. Ela falha duas vezes. O escalar solitário precisa sobreviver a projeções desenhadas para milhares de features de conteúdo, então é facilmente abafado; e sua magnitude cresce sem limite — a posição 100.000 tem uma feature 100.000 vezes maior que a da posição 1, arruinando as estatísticas cuidadosamente escaladas da lição 4.3. A correção que o artigo de 2017 escolheu: dar à posição um vetor de largura completa com entradas limitadas e estrutura em muitas escalas, e somá-lo ao embedding do token antes da primeira camada:

Como ambos os vetores têm largura $d_{model}$, posição e conteúdo compartilham o residual stream, e toda projeção de todo head (lição 4.5) pode usar combinações dos dois.

O esquema senoidal define esse vetor por fórmula, pareando dimensões em frequências espaçadas geometricamente:

Um pequeno exemplo trabalhado com $d_{model}=4$ torna isso tangível. Para a posição $pos = 1$: o par de dimensões $i=0$ usa frequência $1/10000^{0} = 1$, dando $PE(1,0)=\sin(1)\approx 0.84$ e $PE(1,1)=\cos(1)\approx 0.54$. O par $i=1$ usa frequência $1/10000^{2/4} = 1/100$, dando $PE(1,2)=\sin(0.01)\approx 0.01$ e $PE(1,3)=\cos(0.01)\approx 1.00$. O par rápido já oscilou de forma perceptível na posição 1; o par lento mal se moveu e vai levar centenas de posições para mudar de modo apreciável. A posição 2 dobra cada ângulo ($\sin(2)\approx 0.91$, $\sin(0.02)\approx 0.02$), e assim por diante: cada posição recebe uma leitura distinta de relógio multivelocidade, com todas as entradas limitadas a $[-1,1]$. Posições próximas têm carimbos parecidos; posições distantes diferem nas dimensões lentas. Deslocamentos relativos são linearmente recuperáveis a partir dos pares seno–cosseno, uma propriedade que discretamente antecipa a próxima lição.

Um embedding de posição absoluta aprendido substitui a fórmula por uma tabela treinável: uma linha por posição suportada, consultada exatamente como um embedding de token. O BERT e a linhagem GPT usaram isso com sucesso — a otimização descobre qualquer geometria posicional que ajude a distribuição de treino, em vez de aceitar uma predeterminada.

O tradeoff não é “princípios versus aprendizado”. Uma tabela aprendida tem um comprimento máximo declarado e simplesmente não tem linha além dele; estender significa redimensionar e interpolar linhas que nunca foram treinadas. A fórmula senoidal produz um valor para qualquer posição inteira — mas um valor definido não é um valor útil.

Dois detalhes operacionais pesam na prática. A soma não obriga a rede a manter conteúdo e posição separáveis — eles ficam emaranhados num único vetor desde a primeira camada, e os Q, K e V de cada head herdam a mistura. E os índices de posição são um contrato: padding à esquerda, documentos empacotados e reinícios de fronteira mudam qual inteiro cada token recebe, então um descasamento entre a numeração de treino e a de inferência degrada a saída mesmo quando todos os shapes são válidos.

Uma forma útil de comparar esquemas é perguntar onde a posição entra. Esquemas absolutos — os dois sabores desta lição — a carimbam na entrada, atrelando a informação a um índice (“este é o token 37”) em vez de a uma distância (“este token está três atrás”), e deixando a rede inferir os deslocamentos a partir de dois carimbos absolutos. Esquemas relativos movem a posição para dentro do próprio cálculo de attention, onde deslocamentos vivem naturalmente.

Foi exatamente esse o caminho que a área tomou, e o modelo deste curso é a evidência: o Qwen3.8-27B não usa nenhum dos esquemas desta lição. Nenhum carimbo senoidal é somado aos seus embeddings e nenhuma tabela de posição absoluta aprendida existe nos seus pesos; a posição entra por rotações aplicadas a queries e keys dentro das suas camadas de attention — RoPE, com o toque extra de aplicação parcial e seções multimodais. Esse mecanismo é a próxima lição. Trate as tabelas senoidais e aprendidas como a baseline histórica que definiu o problema — quebrar a simetria de permutação com um sinal limitado e multiescala — cuja solução mais conhecida hoje mora em outro ponto do bloco.