Positional encoding I: sinusoidal e aprendido

1

Conceito

Self-attention compara representações por conteúdo. Se uma camada recebe os mesmos vetores em outra ordem, sem nenhum sinal adicional, suas saídas são permutadas da mesma forma. Essa permutation equivariance serve para conjuntos, mas não para linguagem. “Cachorro morde pessoa” e “pessoa morde cachorro” contêm os mesmos tokens com papéis diferentes. O Transformer precisa de informação de posição.

A arquitetura original somava um vetor posicional a cada embedding antes da primeira camada:

Como ambos possuem largura $d_{model}$, compartilham o residual stream. Projeções aprendidas usam combinações de conteúdo e posição ao formar queries, keys, values e ativações feed-forward. A soma é barata e preserva o shape, embora não obrigue o modelo a manter conteúdo e posição em coordenadas separadas.

O esquema sinusoidal de 2017 define pares de dimensões com frequências diferentes:

Pares de índice baixo mudam rapidamente; pares altos, devagar. O vetor funciona como um banco de ponteiros com períodos distintos. Posições próximas não recebem o mesmo padrão completo, e offsets relativos podem ser expressos por relações lineares entre seno e cosseno. Os valores são fixos, portanto o modelo não gasta parâmetros numa tabela de posições.

Um embedding aprendido de posição absoluta usa uma matriz treinável com uma linha por posição suportada. A posição 37 consulta a linha 37 assim como um token ID consulta um embedding. O modelo adapta os vetores à distribuição de treinamento em vez de aceitar uma geometria predeterminada. BERT e modelos GPT já usaram tabelas absolutas com sucesso.

O tradeoff não é “matemático bom contra aprendido bom”. Uma tabela aprendida tem tamanho máximo e nenhuma linha além dele. Estendê-la exige redimensionamento ou interpolação, e as linhas novas não foram treinadas. A fórmula sinusoidal gera valores para qualquer posição inteira, mas estar definida fora do alcance não garante que o restante da rede funcione bem. Extrapolação é propriedade do sistema treinado completo.

Posições absolutas ligam um evento a um índice, não diretamente a uma distância. Para aprender “olhe três tokens atrás”, a camada deduz a relação entre os sinais absolutos de query e key. Métodos relativos modificam attention segundo o offset. RoPE gira queries e keys; ALiBi adiciona um bias de distância.

Padding e packing complicam índices. Com padding à esquerda, numerar o tensor inteiro muda os position IDs de um conteúdo idêntico. Alguns modelos esperam reiniciar depois do padding. Documentos empacotados podem reiniciar nas fronteiras ou continuar globalmente. Divergir do contrato do treinamento prejudica a saída mesmo com shapes válidos.

Uma visualização útil coloca posição num eixo e dimensão no outro. Encodings sinusoidais mostram faixas de várias frequências; uma tabela aprendida mostra a estrutura descoberta pela otimização. A figura não revela significado sozinha. Importa como projeções posteriores usam as direções.

O modelo mental é quebra de simetria. Attention sem posição trata a sequência como cartões sem assentos. Positional encoding marca os lugares para o roteamento distinguir “antes”, “depois”, “perto” e regiões específicas do contexto.