Vetores, matrizes e produtos escalares

01 · Conceito

Conceito

Abra o arquivo de configuração que acompanha o Qwen3.8-27B e uma entrada aparece mais do que qualquer outra neste curso: o hidden size é 5120. Tudo nas próximas tracks é consequência desse número, então vale saber exatamente o que ele significa antes de encontrar qualquer terminologia. Ele significa que, dentro do modelo, em cada uma das suas 64 camadas, cada token do seu prompt é representado por uma lista de 5120 números. Não uma palavra, não um símbolo, não uma chave de consulta. Cinco mil cento e vinte valores de ponto flutuante. O trabalho desta lição é tornar esse objeto banal.

Um vetor é uma lista ordenada de números, e a ordem faz parte da sua identidade: $(2,5)$ não é $(5,2)$. Em geometria, um vetor de duas ou três dimensões se desenha como uma seta com direção e comprimento. Em machine learning ele costuma ter centenas ou milhares de coordenadas e representa um token, um patch de imagem, um hidden state ou um gradiente. Você não consegue visualizar 5120 eixos, e não precisa. Toda operação abaixo é definida coordenada a coordenada e se comporta igual em qualquer largura.

Vetores somam componente a componente e escalam por um número. Se $a=(1,2)$ e $b=(3,-1)$, então $a+b=(4,1)$, e $3a=(3,6)$. O comprimento euclidiano é $\lVert a \rVert = \sqrt{1^2+2^2}$. Magnitude e direção carregam informações diferentes, e redes neurais estão o tempo todo remodelando as duas. Um hidden state do Qwen é exatamente esse objeto com 5120 casas em vez de duas; em bfloat16 ele ocupa dois bytes por número, o que dá dez kibibytes para um único token em uma única camada.

O produto escalar colapsa dois vetores de mesmo comprimento num único escalar:

Para os vetores acima, $a \cdot b = 1\times3 + 2\times(-1) = 1$. Cada par correspondente contribui com evidência positiva quando os sinais concordam e negativa quando se opõem. Geometricamente, $a\cdot b = \lVert a\rVert \lVert b\rVert \cos\theta$: vetores alinhados pontuam positivamente, perpendiculares pontuam zero, opostos pontuam negativamente. Essa única operação é o átomo de tudo o que vem depois. Scores de attention são produtos escalares entre queries e keys. Um logit é um produto escalar entre um hidden state e uma linha da matriz de saída. Quando a lição 0.1 disse que o modelo produz 248.320 scores, ela quis dizer que ele realiza 248.320 produtos escalares, cada um contra um estado de 5120 dimensões.

Agora um erro que vale cometer de propósito. Suponha que você está comparando duas representações de token e um par pontua 340 enquanto outro pontua 12. É tentador concluir que o primeiro par é muito mais relacionado. Faça a conta em vez disso. Sejam $u = (100, 0)$ e $v = (3.4, 3.4)$: o produto escalar é $340$, embora o ângulo entre eles seja de 45 graus. Sejam $s = (1,1)$ e $t = (6,6)$: o produto escalar é $12$, e o ângulo é exatamente zero, alinhamento perfeito. O score grande veio do comprimento, não da concordância. A similaridade de cosseno conserta isso dividindo os comprimentos fora, $(a\cdot b)/(\lVert a\rVert\lVert b\rVert)$, dando $0.707$ para o primeiro par e $1.0$ para o segundo. Comparações de embedding na lição 1.5 geralmente querem cosseno; attention deliberadamente mantém o produto escalar bruto e escalado, porque ali a magnitude faz parte da computação aprendida e não é um estorvo.

Uma matriz é um arranjo retangular de números, escrito em linhas por colunas. Uma matriz $3 \times 4$ mapeia uma entrada de quatro componentes para uma saída de três componentes, e cada coordenada de saída é o produto escalar de uma linha da matriz com a entrada. É por isso que a multiplicação matriz-vetor é o burro de carga: ela computa de uma vez muitas perguntas ponderadas e aprendidas sobre a mesma entrada. Dentro do nosso espécime, a projeção que produz as queries de attention pega o estado de 5120 dimensões e emite um de 12288 — 24 heads de 256 dimensões cada e, em seguida, outro tanto para um gate que viaja ao lado delas. Esse descasamento é uma propriedade real do modelo e não um erro de digitação, e a lição 4.2 explica por que a tentação de arredondá-lo de volta para 5120 destrói a aritmética.

Shapes funcionam como um sistema de tipos. Uma matriz $m\times n$ vezes um vetor de $n$ componentes dá um vetor de $m$ componentes, e as dimensões internas precisam bater. Para dados em batch, as linhas costumam indexar exemplos ou posições de token, então uma matriz de shape sequência por features multiplica uma matriz de pesos de shape features por saída. Escrever os shapes ao lado da equação pega a maioria dos bugs antes de o código rodar, e é o único hábito que mais confiavelmente separa quem consegue ler código de modelo de quem não consegue.

A ponte para o resto do curso agora é curta. Uma consulta de embedding devolve um vetor de 5120 dimensões para um identificador de token. Matrizes de projeção transformam esse estado em queries, keys, values ou logits de vocabulário. Produtos escalares entre query e key criam scores de attention. Gradientes são vetores apontando para a mudança local na loss. Uma vez que vetores são estados, matrizes são mapas aprendidos e produtos escalares são alinhamento ponderado, a maior parte de um Transformer se lê como álgebra linear com algumas interrupções não lineares cuidadosamente posicionadas.