Derivadas e gradientes, geometricamente

1

Conceito

Uma derivada mede sensibilidade local. Para uma função de uma variável $f(x)$, a derivada em $x$ é o limite das inclinações de secantes cada vez menores:

Se $f'(x)=3$, uma variação positiva suficientemente pequena $\Delta x$ produz mudança de aproximadamente $3\Delta x$. É uma aproximação linear local, não uma promessa sobre movimentos grandes ou regiões distantes.

Geometricamente, a derivada é a inclinação da reta tangente. Valor positivo sobe com $x$; negativo desce; zero indica região plana, mas não necessariamente um mínimo. O ponto pode ser máximo, mínimo ou inflexão horizontal. Derivadas descrevem a vizinhança. Não revelam automaticamente o melhor ponto da função inteira.

Redes neurais dependem de muitos parâmetros, então sua loss é $L(\theta_1,\ldots,\theta_n)$. Uma derivada parcial $\partial L/\partial\theta_i$ pergunta como a loss muda quando o parâmetro $i$ varia um pouco e os outros ficam fixos. Reunir todas produz o gradiente:

O gradiente aponta para o maior aumento local segundo a distância euclidiana; seu negativo, para a maior redução. Gradient descent atualiza $\theta\leftarrow\theta-\eta\nabla L$, com learning rate $\eta$. Pequeno demais torna o avanço lento; grande demais pode atravessar o vale ou ficar instável. A curvatura faz o passo adequado variar entre direções e ao longo do tempo.

A regra da cadeia conecta sensibilidades numa composição. Se $y=f(u)$ e $u=g(x)$, então $dy/dx=(dy/du)(du/dx)$. Uma rede é uma longa composição de multiplicações, activations, normalização e loss. Backpropagation aplica a regra da cadeia eficientemente, reaproveitando derivadas intermediárias em vez de expandir separadamente cada caminho de cada parâmetro até a saída.

Gradientes têm unidades e escala. Multiplicar a loss por mil multiplica o gradiente por mil sem mudar quais parâmetros representam a solução. Features em escalas muito diferentes tornam a superfície mal condicionada: íngreme numa direção e rasa em outra. Normalização, inicialização, optimizers adaptativos e schedules ajudam a lidar com a geometria, mas não mudam o significado da derivada.

Nem toda operação é diferenciável em todo ponto. ReLU tem um canto em zero; o software escolhe um subgradiente convencional ali. Seleção de token é discreta, portanto o treinamento diferencia probabilidades e representações contínuas, não a palavra amostrada. Diferenças finitas verificam implementações pequenas perturbando parâmetros, mas diferenciação automática analítica é muito mais barata em bilhões deles.

O modelo mental é um mapa local. A loss é terreno sobre o espaço de parâmetros. A parcial é uma inclinação por coordenada; o gradiente é a seta combinada para cima; o negativo sugere a descida. A otimização é difícil porque o terreno é enorme, ruidoso, curvo e observado por batches, não porque a definição seja misteriosa. A geometria explica tanto o sucesso quanto o limite de uma única seta local.

Uma verificação útil em funções pequenas compara o gradiente analítico com diferenças finitas em várias escalas de $\epsilon$. Concordância apenas num passo extremo pode indicar arredondamento ou bug; a comparação deve ocorrer longe de pontos não diferenciáveis conhecidos.