Multiplicação de matrizes como transformação

1

Conceito

Multiplicação de matrizes é mais fácil de entender como transformação, não como ritual de preencher uma grade. Uma matriz $W$ recebe coordenadas num espaço e produz coordenadas em outro. Para uma entrada $x$, cada componente de $Wx$ é o produto escalar de uma linha de $W$ com $x$. As linhas fazem diferentes perguntas ponderadas e aprendidas sobre a mesma entrada.

Considere

Aplicada a $(x_1,x_2)$, ela produz $(2x_1,x_2/2)$. Um quadrado no plano vira retângulo: a direção horizontal estica e a vertical encolhe. Outras matrizes rotacionam, refletem, inclinam ou projetam. Nas muitas dimensões das redes neurais, a figura desaparece, mas a operação continua sendo uma mudança aprendida de representação.

Uma matriz retangular também altera dimensionalidade. Uma matriz $m\times n$ leva $n$ features de entrada a $m$ de saída. Se $m<n$, pode comprimir informação; se $m>n$, incorpora a entrada num espaço maior, mas não cria informação independente por magia. O rank mede quantas direções independentes sobrevivem. Um mapa de baixo rank força saídas para um subespaço menor, ideia usada depois em fine-tuning eficiente.

A multiplicação matriz-matriz aplica várias transformações ou exemplos juntos. A entrada $(i,j)$ de $AB$ é o produto escalar da linha $i$ de $A$ com a coluna $j$ de $B$. Mais importante: $AB$ representa composição, com $B$ atuando primeiro. A operação geralmente não é comutativa. $AB$ e $BA$ podem diferir, e um pode existir quando o outro não. O shape registra quais composições fazem sentido.

Camadas neurais costumam usar $y=Wx+b$. A matriz fornece uma transformação linear; o vetor de bias translada o resultado. Tecnicamente, é uma transformação afim porque zero pode mapear para $b$. O bias permite deslocar uma fronteira de decisão para longe da origem. Implementações podem guardar exemplos em linhas e escrever $XW+b$; isso é convenção. Anotar shapes evita confundir transpostas.

Se empilharmos duas camadas lineares sem nada entre elas, $W_2(W_1x)=(W_2W_1)x$. A pilha equivale a uma matriz. Biases também se combinam num único mapa afim. A profundidade só fica expressiva quando funções não lineares, gates, normalização ou roteamento dependente da entrada interrompem esse colapso. É por isso que activations aparecem entre projeções aprendidas.

Multiplicação matricial domina o compute neural porque hardware executa blocos densos com eficiência. Um batch de vetores multiplicado por uma matriz reutiliza os mesmos parâmetros entre posições. GPUs e aceleradores dividem produtos em tiles, movem-nos pela hierarquia de memória e acumulam somas parciais. A álgebra é simples; o desempenho depende de movimento de dados, shapes, precisão e fusão de operações.

Transformers repetem o padrão. Matrizes de embedding mapeiam identidades para features. Projeções de attention criam queries, keys e values. Projeções de saída recombinam heads. Blocos feed-forward expandem e contraem dimensões. A head final mapeia estados para logits do vocabulário. Pensar em transformações deixa a arquitetura legível: em cada matriz, pergunte qual espaço entra, qual sai, quais direções sobrevivem e que informação pode se perder.

Ao implementar, escreva o significado de cada eixo ao lado do shape. Essa anotação distingue uma transformação correta de uma multiplicação que apenas acontece de ser aceita por broadcasting e produz o número errado em silêncio.