Positional encoding III: ALiBi e bias relativo

01 · Conceito

Conceito

Existe um terceiro lugar onde a posição pode morar. A lição 4.6 a colocou na entrada, somada aos embeddings. A lição 4.7 a colocou na geometria do score, rotacionada em queries e keys. A família desta lição a coloca no valor do score: calcule primeiro a compatibilidade de conteúdo, depois ajuste o número diretamente conforme a distância entre as duas posições. Historicamente esse caminho foi seriamente percorrido — o T5 e vários LMs de destaque foram construídos sobre ele — e entendê-lo deixa mais nítido o que o caminho vencedor de fato venceu.

O problema concreto, enunciado como prior de modelagem: a maior parte da informação útil para prever um token está por perto, mas “o que está perto importa mais” não aparece em lugar nenhum da maquinaria das lições 4.2 a 4.5. Será que dá para simplesmente contar isso ao modelo? Seja $s_{ij}=q_i\cdot k_j/\sqrt{d_k}$ o score de conteúdo da posição de query $i$ para a posição de key $j$, e some um bias:

O softmax então normaliza os scores ajustados; as probabilidades de roteamento mudam enquanto os conteúdos dos values ficam intocados. A função $b$ é o espaço de projeto. O T5 a aprende, em buckets por deslocamento: deslocamentos pequenos ganham buckets individuais, distâncias grandes compartilham buckets grosseiros, um valor aprendido por bucket por head — um orçamento limitado de parâmetros codificando o prior de que a diferença entre 1 e 2 tokens importa mais que a diferença entre 1.001 e 1.002.

O ALiBi elimina até o aprendizado. Em attention causal, cada head ganha uma penalidade linear fixa em direção ao passado:

com a inclinação $m_h$ variando entre os heads. Um exemplo trabalhado mostra a textura. Pegue um head com inclinação $m_h = 0.5$ pontuando três keys a distâncias 1, 4 e 8, cujos scores de conteúdo são todos iguais a 2,0. Os logits enviesados ficam $2.0 - 0.5 \times 1 = 1.5$, depois $2.0 - 0.5 \times 4 = 0$, depois $2.0 - 0.5 \times 8 = -2.0$: uma forte preferência por recência, ainda que uma key distante com score de conteúdo muito mais alto pudesse vencer. Um head irmão com inclinação $m_h = 0.0625$ cobra apenas $-0.0625$, $-0.25$ e $-0.5$ nessas mesmas distâncias — praticamente indiferente, mantendo abertas as rotas de longo alcance. Heads com inclinação acentuada viram especialistas locais, heads com inclinação suave viram canais de longa distância, e o conteúdo sempre pode se sobrepor ao pedágio. Nada é uma janela rígida; tudo é um prior graduado.

O equívoco clássico de implementação está em onde aplicar a penalidade. A versão tentadora e errada — como o que queremos encolher são os pesos de attention, subtraia das saídas do softmax — quebra a normalização: as linhas deixam de somar um, e subtrair probabilidades não equivale a nenhum bias de logits. A correção já está na fórmula: o bias entra nos logits, antes do softmax, exatamente como o $-\infty$ do causal mask na lição 4.4 — do qual o ALiBi é, na verdade, um primo suave e inclinado.

Por que, então, esse é em boa medida o caminho não seguido pelos LMs decoder modernos? A interface de bias tem virtudes genuínas — separação limpa entre “quão compatível” e “quão distante”, localidade visível na matriz de attention, custo de parâmetros quase nulo. Mas ela só consegue expressar o que uma função escalar da distância consegue expressar: uma preferência monótona ou por buckets. O RoPE codifica deslocamento como fase em 32 planos de frequência, o que projeções posteriores conseguem consumir como estrutura rica, direcional e capaz de interagir com conteúdo — e ele se compõe naturalmente com cache e com truques como rotação parcial e reescalonamento de frequência. A preferência revelada da área está visível no modelo deste curso: o Qwen3.8-27B entrega RoPE (na forma parcial, de base longa e multimodal da lição 4.7), não ALiBi, nem buckets aprendidos.

Há um pós-escrito mais profundo de 2026, e ele é o fecho certo para toda a trilogia posicional. Estas três lições assumiram implicitamente a arquitetura de 2017–2022: attention completa em cada camada, de modo que o esquema posicional precisa servir a cada par de tokens em cada profundidade, e toda a tensão de contexto longo cai sobre ele. Arranjos híbridos quebram essa premissa. No Qwen3.8-27B apenas 16 das 64 camadas rodam attention completa; as outras 48 são camadas Gated DeltaNet que processam a sequência como uma recorrência ordenada — a ordem está embutida na execução, sem exigir rotação, bias ou carimbo. O esquema posicional agora precisa ser excelente em um quarto da profundidade em vez de em toda ela, enquanto as camadas recorrentes carregam comprimento barato. Debates travados como “qual encoding extrapola melhor” se dissolvem em parte em “quanto do modelo realmente precisa de attention por pares” — a pergunta que a lição 4.15 aborda diretamente.

O retrato durável dessa família continua valendo: um score de conteúdo mais um prior posicional, a posição como o preço da comunicação entre dois pontos, e não como um endereço carimbado em qualquer um deles. Mesmo onde o ALiBi em si não é usado, esse enquadramento — localidade como tarifa suave sobre logits — reaparece em sparse attention, janelas deslizantes e em todo esquema que precisa decidir quanto o passado deve custar.