Embeddings: significado como geometria

01 · Conceito

Conceito

O tokenizer fez seu trabalho e entregou a você uma lista de inteiros. Agora aparece um problema fácil de não enxergar, porque a solução óbvia é tão errada que parece boa. Você poderia simplesmente alimentar a rede com esses inteiros como números. O token 742 entra como 742. Isso falha imediatamente e de forma instrutiva: afirma que o token 743 está mais perto de 742 do que o token 20 está, que o token 248.000 é enorme comparado ao token 5, e que a ordem arbitrária em que um algoritmo de merge numerou seus pedaços é uma escala semântica. Nada disso é verdade. Ids são rótulos, e rótulos não têm aritmética.

Uma matriz de embeddings conserta isso dando a cada entrada do vocabulário seu próprio vetor aprendido. Buscar um token significa selecionar uma linha, produzindo features contínuas que as camadas seguintes podem combinar, girar e misturar. Se o vocabulário tem tamanho $V$ e a largura oculta é $d$, a matriz tem shape $V \times d$. Multiplicar um vetor one-hot de comprimento $V$ por essa matriz devolve a linha selecionada, que é a descrição matemática arrumadinha; as implementações indexam direto, porque multiplicar por um quarto de milhão de zeros é um péssimo uso de uma GPU.

Ponha os números do nosso espécime e a escala dessa fronteira fica visível. O Qwen3.8-27B tem 248.320 linhas e hidden size de 5120. Faça a conta em duas partes para manter tudo legível: $248{,}320 \times 5000 = 1{,}241{,}600{,}000$ e $248{,}320 \times 120 = 29{,}798{,}400$. Somando:

Mais de um bilhão de parâmetros, antes de o modelo ter executado uma única camada de computação. É isso que custa simplesmente ter opiniões sobre tokens individuais.

Agora o erro de caminho, que quase todo mundo comete porque quase todo tutorial comete. Muitos modelos de linguagem compartilham seus embeddings: a mesma matriz que transforma ids em vetores na entrada é reutilizada, transposta, para transformar o hidden state final em logits de vocabulário na saída. É uma economia elegante e é extremamente comum, então o passo natural é anotar 1,271 bilhão e seguir em frente. Confira a configuração em vez disso, como a lição 0.7 ensinou. O Qwen3.8-27B define tie_word_embeddings como false. O language-model head é uma matriz separada, com o mesmo shape 248.320 por 5120 e, portanto, mais uns 1,271 bilhão de parâmetros próprios.

Cerca de um décimo do modelo inteiro está nessas duas matrizes, e uma estimativa que tivesse suposto compartilhamento estaria curta em mais de um bilhão de parâmetros — cerca de 2,5 gigabytes de pesos a dois bytes cada. É o tipo de erro que sobrevive à revisão porque o número errado é plausível, e é precisamente por isso que a lição 0.8 insistiu em ler a configuração em vez da convenção.

Por que a geometria se torna útil, afinal? Porque tokens que aparecem em contextos que exigem predições parecidas recebem sinais de aprendizado parecidos. Se duas palavras surgem repetidamente em posições gramaticais e temáticas comparáveis, as atualizações que ajudam uma tendem a ajudar a outra, e suas representações derivam para regiões relacionadas. Coordenadas distribuídas deixam a rede compartilhar força estatística em vez de aprender uma regra separada para cada par. Nada insere uma definição numa coordenada; a estrutura é resíduo de predição.

A geometria oferece várias lentes, e elas respondem a perguntas diferentes. A distância euclidiana mede a separação em linha reta. A similaridade de cosseno compara direção depois de dividir fora o comprimento, que é o que a lição 0.4 mostrou ser normalmente o que você quer quando as magnitudes variam. Um produto escalar cru mistura as duas coisas. Vizinhos mais próximos dependem da métrica escolhida e de qualquer pré-processamento, então uma visualização precisa declarar as duas coisas. Projetar 5120 dimensões para duas com PCA, t-SNE ou UMAP introduz distorção real, e um cluster aparente num gráfico desses é uma hipótese a testar, não um mapa do espaço.

O significado de um embedding também é relacional e dependente do objetivo. Um embedding de modelo de linguagem enfatiza a substituibilidade útil para prever o próximo token. Um embedding de retrieval treinado em pares de pergunta e passagem coloca textos complementares juntos, que é quase a relação oposta. Um embedding de alinhamento multimodal põe legendas perto de imagens. Chamar os três de similaridade semântica esconde três contratos diferentes, e isso importa concretamente para o nosso espécime, cuja torre de visão projeta patches de imagem no mesmo espaço de 5120 dimensões em que vivem os tokens de texto, como a lição 4.17 cobre.

Embeddings estáticos de token encaram a polissemia de frente. A linha de banco é idêntica bit a bit em banco de rio e em banco de investimento; só as camadas acima separam os dois estados. Então um modelo contém muitos espaços de representação, não um: a tabela de entrada, o estado residual de cada camada, as projeções de attention e o estado final que encontra a matriz de saída. Quando alguém disser o embedding, pergunte qual camada e qual pooling.

A ideia durável não é que o significado mora num mapa perfeito. É que vetores aprendidos convertem símbolos discretos num espaço onde transformações compartilhadas e relações graduais se tornam possíveis. Ids escolhem linhas, o treino molda a geometria, o contexto remodela os estados e as métricas expõem relações particulares. Dois bilhões e meio de parâmetros do Qwen3.8-27B existem para fazer essa tradução funcionar nos dois sentidos.