Positional encoding II: RoPE

1

Conceito

Positional encodings absolutos anexam uma coordenada a cada representação de token. Rotary position embedding, abreviado como RoPE, escolhe outro caminho: gira features de query e key por ângulos determinados pelas posições. O produto escalar de attention passa a carregar deslocamento relativo por meio da geometria.

Comece com um par bidimensional $(x_0,x_1)$. Na posição $m$, gire-o pelo ângulo $m\theta$:

RoPE aplica a ideia a pares de features, usando uma frequência $\theta_i$ diferente por par. Alguns giram rápido e representam variações finas; outros giram devagar e cobrem intervalos maiores. Query e key antes da rotação ainda vêm de projeções aprendidas de conteúdo. A posição altera a orientação, não a norma.

A identidade central é

Como matrizes de rotação são ortogonais, duas rotações absolutas viram uma rotação pela diferença $n-m$. A pontuação depende do conteúdo da query, do conteúdo da key e do offset relativo. Por isso RoPE é descrito como posição relativa, embora cada vetor seja girado pelo próprio índice absoluto.

No código, a implementação costuma dividir o último eixo em pares ou metades, calcular tabelas de seno e cosseno e combiná-las sem criar matrizes explícitas. Os valores precisam usar dtype, device, posições e dimensão da head corretos. Trocar a convenção de pares mantém shapes válidos, mas torna pesos incompatíveis; o layout exato faz parte do contrato do checkpoint.

RoPE normalmente entra depois das projeções de queries e keys e antes do produto escalar. Values não são girados. O residual stream não precisa receber um embedding de posição absoluta. Isso prende posição diretamente ao roteamento de attention. Heads diferentes costumam compartilhar o cronograma de frequências, embora existam variações.

Métodos de extensão alteram o mapeamento de posição para ângulo. Interpolação simples comprime um intervalo solicitado maior dentro do intervalo familiar. Outros métodos mudam frequências ou aplicam escalas dependentes da dimensão. Existe um tradeoff entre resolução em curtas distâncias e estabilidade nas longas. A avaliação precisa cobrir tarefas comuns e recuperação distante; perplexity menor não prova que toda habilidade posicional sobreviveu.

RoPE também interage com o KV cache. No decode autoregressivo, keys em cache já devem conter a rotação de sua posição original, enquanto uma query nova recebe a posição atual. Reiniciar índices incorretamente ou girar keys duas vezes faz attention comparar offsets errados sem necessariamente gerar erro. Sistemas com sliding window ou chunks precisam definir índices globais ou locais.

Uma boa visualização começa num único plano bidimensional. Mostre uma seta de query e outra de key na posição zero, gire-as por ângulos diferentes e exiba o produto escalar. Depois revele a dependência da diferença angular. O embedding completo repete o mecanismo em diversas frequências; não é uma única rotação física em três dimensões.

O insight durável é que posição pode entrar por uma operação, não apenas por uma soma. RoPE transforma deslocamento da sequência em fase relativa dentro da similaridade query–key, numa interface compacta compatível com attention causal e caching.