Vetores, matrizes e produtos escalares

1

Conceito

Um vetor é uma lista ordenada de números. A ordem importa: $(2,5)$ não representa o mesmo vetor que $(5,2)$. Na geometria, vetores de duas ou três dimensões descrevem direção e comprimento. Em machine learning, um vetor pode ter centenas ou milhares de coordenadas e representar um token, um trecho de imagem, um estado oculto ou um gradiente. Não conseguimos desenhar todas as dimensões, mas a aritmética continua igual.

Vetores podem ser somados componente a componente e multiplicados por um escalar. Se $a=(1,2)$ e $b=(3,-1)$, então $a+b=(4,1)$. Multiplicar $a$ por três produz $(3,6)$. O comprimento euclidiano, ou norma, é $\lVert a\rVert=\sqrt{1^2+2^2}$. O comprimento costuma expressar magnitude, enquanto a direção captura o padrão relativo entre coordenadas. Redes neurais remodelam os dois continuamente.

O produto escalar combina dois vetores de mesmo tamanho num único escalar:

Para os vetores acima, $a\cdot b=1\times3+2\times(-1)=1$. Cada par oferece evidência positiva quando os sinais concordam e negativa quando se opõem. Geometricamente, $a\cdot b=\lVert a\rVert\lVert b\rVert\cos\theta$. Direções semelhantes geram valor positivo; vetores perpendiculares, zero; direções opostas, valor negativo.

Essa interpretação pede um cuidado. O produto escalar bruto mistura direção e comprimento. Dois vetores podem pontuar alto porque se alinham, porque têm normas grandes ou pelos dois motivos. A similaridade de cosseno divide pelas normas e isola a direção: $(a\cdot b)/(\lVert a\rVert\lVert b\rVert)$. Aplicações de embeddings às vezes usam cosseno, enquanto attention emprega produtos escalares escalados e preserva magnitudes no cálculo aprendido.

Uma matriz é um arranjo retangular de números, com formato linhas por colunas. Uma matriz $3\times4$ mapeia uma entrada de quatro componentes para uma saída de três. Cada coordenada de saída é o produto escalar de uma linha da matriz com a entrada. Por isso, a multiplicação matriz-vetor é central: ela calcula simultaneamente muitas somas ponderadas aprendidas.

Shapes formam um sistema prático de tipos. Uma matriz $m\times n$ multiplicada por um vetor com $n$ componentes produz um vetor com $m$. As dimensões internas precisam coincidir. Em batches, linhas frequentemente armazenam exemplos ou posições de tokens; uma matriz $X$ de sequência por features multiplica pesos de features por saídas. Anotar shapes ao lado das equações evita muitos bugs antes de executar código.

Features neurais raramente são faders com nomes humanos. Uma coordenada participa de vários padrões, e um conceito pode estar distribuído por muitas coordenadas. Uma rotação do sistema preserva relações enquanto muda valores individuais. Assim, inspecionar uma única dimensão dificilmente revela um rótulo semântico limpo. A geometria é mais útil por relações: distâncias, direções, subespaços, projeções e efeitos das transformações aprendidas.

A ponte para modelos de linguagem é direta. Uma busca na tabela de embedding devolve um vetor por ID. Matrizes de projeção transformam estados em queries, keys, values ou logits. Produtos escalares query-key criam pontuações de attention. Gradientes são vetores de mudança local da loss. Ao enxergar vetores como estados, matrizes como mapas aprendidos e produtos escalares como alinhamento ponderado, boa parte do Transformer vira álgebra linear repetida com não linearidades bem posicionadas.