Backpropagation, visualizado

1

Conceito

Backpropagation é uma aplicação eficiente da regra da cadeia a um grafo computacional. Ela responde: para a loss escalar produzida neste forward, quão sensível é a loss a cada intermediário e parâmetro? Não escolhe a loss, coleta dados nem atualiza pesos. Essas responsabilidades são separadas.

Considere $a=wx+b$, $h=\operatorname{ReLU}(a)$ e $L=(h-y)^2$. O forward pass avalia operações em ordem e salva valores necessários às derivadas. O grafo tem variáveis e operações conectadas. Para uma entrada, produz uma loss numérica e um registro de como ela foi construída.

O backward começa com $\partial L/\partial L=1$. Para o quadrado, a derivada local é $2(h-y)$, produzindo $\partial L/\partial h$. ReLU passa esse gradiente quando $a>0$ e o bloqueia quando $a<0$. A operação afim gera $\partial L/\partial w=(\partial L/\partial a)x$, $\partial L/\partial x=(\partial L/\partial a)w$ e $\partial L/\partial b=\partial L/\partial a$.

O padrão é gradiente upstream vezes derivada local. Cada operação sabe como suas saídas mudam com as entradas. Reverse-mode autodiff visita operações na ordem topológica inversa, aplicando produtos vetor-Jacobiano. Não precisa materializar um Jacobiano completo gigantesco para uma loss escalar. Isso torna reverse mode eficiente com muitos parâmetros e um objetivo.

Grafos ramificam. Se $x$ influencia a loss por dois caminhos, sua derivada é a soma das duas contribuições. Por isso frameworks acumulam gradientes. Também por isso gradientes de parâmetros em PyTorch acumulam entre chamadas de backward até serem limpos: somar é o padrão matemático correto para vários usos, enquanto o loop decide onde termina o batch.

Memória é um compromisso central. Backward precisa de activations do forward, então o treino as guarda até calcular gradientes. Gradient checkpointing salva apenas alguns estados e recalcula intermediários no backward, trocando compute por memória. Mutação in-place pode destruir valores esperados pelo grafo; frameworks detectam alguns casos, mas código disciplinado evita aliasing surpreendente.

Gradient checking valida implementação pequena por diferenças finitas: perturba um parâmetro por $+\epsilon$ e $-\epsilon$, estima a inclinação e compara com backprop. A verificação exige precisão e passo adequados e pode falhar perto de pontos não diferenciáveis. É cara demais para treinar, mas excelente ao testar uma operação customizada.

Em redes profundas, produtos de derivadas locais podem encolher ou crescer, gerando gradientes que desaparecem ou explodem. Activation, inicialização, normalização, residual connections, clipping e arquitetura influenciam o caminho. Backprop relata fielmente a derivada da computação recebida; gradiente inútil pode refletir geometria ruim, não bug. A imagem durável é um fluxo reverso de responsabilidade, com regras locais compondo sensibilidade global.

Autodiff segue o grafo realmente executado, inclusive branches e valores destacados. Converter um tensor para número comum, mutar estado salvo ou rodar uma região em no_grad pode cortar um caminho. Inspecionar se os parâmetros esperados recebem gradientes finitos e não nulos valida o programa, não apenas a performance. Para operações customizadas, compare gradientes em vários inputs e direções, pois um único ponto pode coincidir por acaso.

Teste também o caso em que uma variável alimenta duas branches, confirmando que ambas contribuem para o gradiente acumulado.