Gradient descent e a paisagem da loss

1

Conceito

O treinamento define uma loss $L(\theta)$ sobre o vetor de parâmetros $\theta$. Com milhões ou bilhões deles, o gráfico vive num espaço de dimensão impossível de visualizar. Chamá-lo de paisagem da loss é útil desde que cada vale familiar seja reconhecido como uma fatia, projeção ou função de brinquedo em duas dimensões.

Gradient descent básico calcula $g=\nabla L(\theta)$ e atualiza $\theta\leftarrow\theta-\eta g$. O gradiente negativo é a maior descida local na distância euclidiana, e o learning rate $\eta$ define o tamanho do passo. A direção é local: curvatura reduz a precisão da aproximação linear conforme o passo cresce. Uma taxa arbitrária não garante reduzir a loss.

Gradient descent full-batch calcula a média sobre todo o dataset antes de cada update. A direção é exata para esse conjunto finito, mas cara. Stochastic usa um exemplo. Na prática moderna, “SGD” frequentemente significa minibatch: exemplos suficientes para matrizes eficientes e estimativa útil, porém muito menos que o dataset. Amostragem, shuffle e montagem distribuída fazem parte do algoritmo.

Gradientes de minibatch são estimativas ruidosas do gradiente total. Batches maiores reduzem variância, mas custam mais por update e podem mudar otimização e generalização. Dobrar batch não justifica automaticamente dobrar learning rate em todo regime. Batch efetivo inclui gradient accumulation e workers paralelos. Comparações devem igualar exemplos processados, updates e compute, não apenas epochs.

Curvatura explica ravinas difíceis. Numa direção íngreme, um passo moderado cruza de parede a parede; numa rasa, avança devagar. A Hessiana descreve segundas derivadas locais, mas formá-la explicitamente é inviável em escala. Momentum e optimizers adaptativos aproximam comportamento geométrico útil usando histórico, sem resolver o problema completo de segunda ordem.

Gradiente zero não identifica solução. Pode ocorrer em mínimo, máximo, saddle point ou plateau. Paisagens de alta dimensão têm muitas direções planas e semelhantes a saddles. Simetrias de parâmetros criam soluções equivalentes: permutar certas unidades não muda a função. Distância reta entre dois checkpoints pode dizer pouco sobre seus comportamentos.

Curvas de treinamento informam mais que uma superfície bonita. Plote training e validation loss contra updates e tokens ou exemplos. Observe norma do gradiente, learning rate, overflows e throughput. Batch loss serrilhada pode coexistir com tendência saudável; curva suave pode esconder overfitting. Seeds repetidas mostram se um ganho aparente supera variância da otimização.

A metáfora vira operação quando ligada a evidência. Gradiente oferece direção local, learning rate escolhe alcance, minibatches dão observações ruidosas e curvatura determina estabilidade. Otimização não “entende” a tarefa; segue o escalar fornecido. Modelo e loss bem projetados tornam soluções úteis acessíveis, enquanto a avaliação verifica se reduzir a training loss produziu o comportamento necessário.

Quando um run diverge, preserve o primeiro passo ruim. Registre identidade do batch, escala da loss, norma do gradiente, estado do optimizer e estatísticas dos parâmetros imediatamente antes e depois. O primeiro valor não finito aponta a operação defeituosa melhor que a cascata de NaNs observada muitos updates depois. Reproduzir esse passo com precisão maior ajuda a separar instabilidade matemática de overflow específico do dtype.

Uma reprodução determinística desse primeiro passo vale mais que dezenas de execuções completas sem instrumentação.