Otimizadores: de SGD a Momentum, Adam e AdamW

01 · Conceito

Conceito

A lição 2.6 deixou uma falha concreta sobre a mesa. Numa tigela cem vezes mais íngreme ao longo de um eixo do que do outro, qualquer learning rate pequeno o bastante para manter a direção íngreme estável deixa a direção rasa se arrastando, e qualquer taxa rápida o bastante para a direção rasa explode a íngreme. A retropropagação não ajuda — ela reportou os dois gradientes corretamente. O conserto precisa viver em como a atualização usa esses gradientes, que é o que um otimizador é.

O SGD de minibatch puro faz o mínimo: $\theta_t=\theta_{t-1}-\eta g_t$. Pouco estado, interpretação clara, e exatamente a falha descrita acima.

O Momentum acrescenta uma velocidade, geralmente uma média móvel exponencial de gradientes, e dá o passo ao longo dela em vez do gradiente bruto. Componentes que persistem entre passos se acumulam; componentes que alternam de sinal se cancelam parcialmente. Na ravina, o quique de parede a parede ao longo do eixo íngreme se cancela em grande medida enquanto o empurrão constante ao longo do eixo raso se acumula. Bibliotecas diferentes usam equações ligeiramente diferentes e variantes de Nesterov, então hiperparâmetros não se transferem só pelo nome.

O Adam ataca o descasamento de escala diretamente. Por coordenada ele mantém um primeiro momento $m_t$, um gradiente suavizado, e um segundo momento bruto $v_t$, um gradiente ao quadrado suavizado. Depois da correção de viés — necessária porque ambas as médias começam em zero e de outro modo ficam enviesadas nessa direção no início — a atualização é aproximadamente

Descubra o que isso faz com a ravina. Ao longo do eixo íngreme os gradientes são consistentemente grandes, então $\sqrt{\hat v}$ é grande e divide o passo de volta para baixo. Ao longo do eixo raso os gradientes são consistentemente minúsculos, então $\sqrt{\hat v}$ é minúsculo e divide o passo de volta para cima. Se o gradiente de uma coordenada tem magnitude estável $|g|$, então $\hat m\approx g$ e $\sqrt{\hat v}\approx|g|$, então a razão é aproximadamente $\pm1$ e o parâmetro se move cerca de $\eta$ — independentemente de o gradiente dele ter sido $10x$ ou $0.1y$. O Adam tornou o tamanho do passo aproximadamente livre de escala por direção. Essa é a propriedade que a lição 2.6 disse que um único $\eta$ global não conseguia fornecer.

Agora o erro clássico, que ficou em código de produção por anos. Você quer regularização, então soma uma penalidade L2 à loss. A contribuição dela ao gradiente é $\lambda\theta$, e você entrega a soma ao Adam. Raciocine sobre o que acontece em seguida: esse termo entra em $m$ e $v$ junto com todo o resto, e então a coisa toda é dividida por $\sqrt{\hat v}$. Um parâmetro cujos gradientes por acaso são grandes tem seu decay encolhido; um parâmetro com gradientes minúsculos tem seu decay amplificado. O comportamento pretendido — puxar todo peso rumo a zero pela mesma proporção a cada passo — não é o que ocorre, e a força do regularizador agora depende de estatísticas de gradiente sem relação com ele. O AdamW conserta isso desacoplando: compute a atualização adaptativa, aplique-a, e depois encolha separadamente os parâmetros por $\eta\lambda\theta$. Mesmo nome, operação diferente, e a razão pela qual essencialmente todo modelo grande hoje é treinado com AdamW em vez de Adam mais L2.

Nem todo parâmetro deveria sofrer decay. Biases e parâmetros de escala de normalização costumam ir para um grupo sem decay, um detalhe de configuração que é fonte frequente de bugs silenciosos — registre quais nomes de parâmetro entraram em qual grupo e falhe ruidosamente diante de omissões inesperadas.

Schedules importam tanto quanto a regra de atualização. Warmup mantém pequenos os passos efetivos iniciais enquanto ativações e estimativas de momento se assentam; o decay reduz o passo mais tarde para convergência. Um experimento justo reporta as equações do otimizador ou a implementação, a curva de learning rate, o tamanho do batch, o limiar de clipping, os grupos de decay, o total de tokens e as sementes. SGD, Momentum, Adam e AdamW são regras de atualização com vieses indutivos diferentes, não uma escada cronológica em que o nome mais novo vence.

Um detalhe operacional que custa dias às pessoas: checkpoints de otimizador precisam incluir o contador de passos e os dois buffers de momento, não apenas os pesos do modelo. Retomar o Adam com momentos vazios muda silenciosamente a regra de atualização por centenas de passos mesmo com os parâmetros batendo exatamente, e avançar o schedule uma vez por batch em vez de uma vez por fronteira de acumulação produz uma curva de learning rate inteiramente diferente. Uma execução reprodutível registra essas fronteiras e verifica a primeira atualização retomada contra uma referência ininterrupta.