Gradient descent e a paisagem de loss

01 · Conceito

Conceito

A retropropagação lhe entrega uma direção. Ela não diz quão longe caminhar. Esse único número que falta — o tamanho do passo — é responsável por mais execuções de treinamento fracassadas do que qualquer escolha arquitetural, e entender por quê exige olhar para o formato da função sendo descida em vez de para o algoritmo.

O treinamento define uma loss $L(\theta)$ sobre o vetor de parâmetros $\theta$. O gradient descent básico computa $g=\nabla L(\theta)$ e atualiza

onde o gradiente negativo é a direção de descida mais íngreme sob distância euclidiana e $\eta$ é o learning rate. A direção é estritamente local; a aproximação linear da qual ela vem se degrada conforme o passo cresce, então nada garante que a loss diminua para um $\eta$ arbitrário.

Veja o problema aparecer numa função que você resolve no papel. Seja

uma tigela cem vezes mais íngreme ao longo de $x$ do que ao longo de $y$. O gradiente é $(10x,\,0.1y)$, então um passo de descida dá $x\leftarrow(1-10\eta)x$ e $y\leftarrow(1-0.1\eta)y$. Cada coordenada é multiplicada pelo seu próprio fator a cada passo, e a história inteira está nesses dois fatores.

Tente $\eta=0.15$. O fator de $x$ é $1-1.5=-0.5$: o sinal se inverte a cada passo, então o iterado quica pelo fundo do vale, embora a magnitude caia pela metade a cada vez e a coisa de fato convirja. O fator de $y$ é $1-0.015=0.985$: depois de cem passos $y$ encolheu apenas para $0.985^{100}\approx0.22$, e chegar a um por cento do valor inicial leva mais de trezentos passos. Ou seja, a direção rasa se arrasta.

A reação natural é o erro clássico: o progresso ao longo de $y$ está lento demais, portanto aumente o learning rate. Tente $\eta=0.25$. Agora o fator de $y$ melhora para $0.975$, que era o que você queria. Mas o fator de $x$ vira $1-2.5=-1.5$, cuja magnitude passa de um, então $x$ cresce metade a cada passo com sinal alternado e a execução diverge. O limiar de divergência aqui é exatamente $\eta=0.2$, definido inteiramente pela direção íngreme, enquanto a direção rasa aceitaria alegremente uma taxa cem vezes maior. Um único tamanho de passo global não consegue servir aos dois, e a distância entre eles é a razão de curvatura — cem neste brinquedo, e imensamente maior numa rede real.

O treinamento real acrescenta uma segunda complicação: você nunca vê o gradiente verdadeiro. A descida full-batch faz a média da loss sobre o conjunto de treino completo antes de cada atualização — exata para aquele dataset, e inviável. O gradient descent estocástico usa um exemplo. A prática moderna fica no meio: um minibatch grande o bastante para operações matriciais eficientes e uma estimativa utilizável, muito menor que o dataset. Amostragem, embaralhamento e montagem distribuída de batch viram parte do algoritmo em vez de encanamento ao redor dele.

Gradientes de minibatch são estimativas ruidosas. Batches maiores reduzem a variância de amostragem mas custam mais por atualização, e mudam o comportamento de otimização e de generalização de formas que não seguem uma regra simples — dobrar o batch não autoriza dobrar o learning rate em todos os regimes. O tamanho efetivo de batch também inclui passos de acumulação de gradiente e workers em paralelismo de dados, então duas execuções descritas como “batch 512” podem diferir. Comparações devem casar exemplos processados, contagem de atualizações e compute, e não meras épocas.

Agora o vínculo com a escala. Para o Qwen3.8-27B, $\theta$ é um vetor com aproximadamente 27 bilhões de coordenadas (Qwen3.8-27B Model Card, 2026). Toda figura de paisagem de loss que você já viu — a tigela lisa, a superfície dramática cheia de cristas — é uma fatia ou projeção bidimensional através de um espaço dessa dimensão, escolhida depois do fato e geralmente ao longo de direções que tornam a história legível. Esses gráficos são ilustrações honestas e evidências desonestas. Nada sobre uma geometria de 27 bilhões de dimensões pode ser lido numa superfície renderizada em três.

O que você pode confiar é na instrumentação. Plote a loss de treino e de validação contra atualizações e contra tokens ou exemplos processados, já que esses eixos discordam sempre que o tamanho do batch muda. Acompanhe normas de gradiente, o schedule de learning rate, eventos de overflow em precisão reduzida, e throughput. Uma loss serrilhada por batch pode coexistir com uma tendência saudável; uma curva de treino lindamente suave pode coexistir com overfitting. Sementes repetidas dizem se uma melhoria aparente supera a variância de otimização.

E quando uma execução de fato diverge, preserve o primeiro passo ruim em vez dos destroços. Registre a identidade do batch, a escala de loss, a norma do gradiente, o estado do otimizador e as estatísticas dos parâmetros imediatamente antes e depois dele. O primeiro valor não finito nomeia a operação que falhou; a cascata de not-a-numbers observada muitas atualizações depois não nomeia nada.