LSTM e GRU: gates que lembram

01 · Conceito

Conceito

A lição 3.2 deixou um diagnóstico específico, não uma queixa vaga. O problema da RNN simples é que seu estado passa pela mesma multiplicação e pela mesma não linearidade saturante a cada passo, então o crédito ao longo de $k$ passos é um produto de $k$ jacobianas cujos fatores o modelo não controla. Dois reparos seguem diretamente desse diagnóstico. Dê ao estado um caminho ao qual se soma, em vez de transformá-lo. E deixe o modelo decidir, por passo e por feature, quanto do estado velho manter.

Os dois reparos estão na LSTM, e os dois são visíveis numa única equação. Ao lado da saída oculta $h_t$, a célula mantém um cell state separado $c_t$, atualizado como

seguido de $h_t=o_t\odot\tanh(c_t)$. Aqui $f_t$, $i_t$ e $o_t$ são os gates de forget, input e output: saídas de sigmoide entre zero e um, calculadas a partir de $x_t$ e $h_{t-1}$ por mapas afins aprendidos, e multiplicadas elemento a elemento. O candidato $\tilde c_t$ é o conteúdo novo em oferta.

Leia a atualização da célula como uma instrução, não como uma fórmula. O forget gate diz, coordenada por coordenada, que fração do livro-razão existente sobrevive. O input gate diz quanto do candidato novo é escrito. Os dois são somados, não compostos. Uma coordenada cujo forget gate está em um e cujo input gate está em zero leva seu valor adiante completamente intacto — sem multiplicação de matriz, sem não linearidade, sem nada.

Isso muda o caminho do gradiente exatamente como a lição 3.2 pediu. Mantendo fixos os valores dos gates, o caminho direto de cell state de $c_k$ a $c_T$ contribui com $\prod_{t=k+1}^{T} f_t$: o produto dos forget gates. As matrizes de pesos e a derivada saturante estão ausentes dessa rota direta, e o que resta é uma quantidade que a própria rede calcula. Esse produto, porém, não é a derivada total inteira: os gates e o candidato também dependem do hidden state anterior, criando caminhos adicionais de gradiente.

Agora descubra o que esse produto de fato compra, porque é aqui que a contabilidade honesta importa. Suponha que o forget gate de uma coordenada estabilize em $0.99$. Ao longo de 100 passos a fração retida é $0.99^{100}\approx0.366$ — cerca de um terço do sinal sobrevive, o que é perfeitamente utilizável. Baixe o gate para $0.9$ e os mesmos 100 passos dão $0.9^{100}\approx2.7\times10^{-5}$: sumiu. O gate não é um interruptor entre lembrar e esquecer; ele define uma meia-vida exponencial, e diferenças pequenas no valor do gate produzem diferenças enormes de alcance.

Isso torna a inicialização consequente de um jeito que surpreende as pessoas. Deixe o bias do forget gate em zero e a sigmoide parte perto de $0.5$, então no início do treino a célula retém $0.5^{100}\approx8\times10^{-31}$ ao longo de cem passos — uma meia-vida de um passo. O modelo precisa primeiro aprender a lembrar antes de poder aprender o que lembrar, e o gradiente que o ensinaria isso já desapareceu. A correção padrão é inicializar o bias do forget gate positivo: com bias 3 o gate parte perto de $0.953$, e $0.953^{100}\approx0.008$, que é pequeno mas não mais astronomicamente morto, então o gradiente de longo alcance existe e pode ser melhorado. O desvio aqui é diagnosticar a falha resultante como problema de learning rate ou de capacidade e passar dias ajustando; a causa real é uma inicialização de bias que fez o caminho da memória começar na posição desligada.

Uma GRU simplifica o projeto fundindo cell state e hidden state. Um update gate interpola entre o estado anterior e um candidato, e um reset gate controla quanto do estado anterior contribui enquanto o candidato é formado. Menos gates, menos parâmetros, muitas vezes qualidade comparável. As equações exatas variam por convenção — notadamente se o reset é aplicado antes ou depois de uma multiplicação de matriz — e essas variantes não são numericamente equivalentes, então a compatibilidade de checkpoint depende da definição precisa, não do nome.

Visualizações de gate convidam a um segundo erro que vale nomear. Uma coordenada exibindo forget alto num token específico não prova que aquela unidade “armazena” um fato nomeável por humanos. As features de estado são distribuídas, os gates interagem entre milhares de coordenadas, e uma projeção downstream pode amplificar ou descartar o que quer que tenha sido preservado. Intervenção causal — fixar a coordenada, medir a mudança de comportamento — é evidência; um heatmap colorido é uma hipótese.

Para comparar células recorrentes com honestidade, iguale a contagem total de parâmetros ajustando a largura oculta em vez de fixar o hidden size — hidden size igual favorece a GRU, que é menor em custo de parâmetros, enquanto parâmetros iguais mudam a largura e portanto a representação. Reporte latência e memória nos comprimentos de sequência que você realmente usa, e teste explicitamente os resets de estado em streaming: estado carregado entre sequências não relacionadas produz números impressionantes que são vazamento, não memória.