LSTM e GRU: gates que lembram

1

Conceito

LSTM e GRU modificam a recorrência para que informação siga um caminho aditivo controlado por gates aprendidos. Um gate costuma ser saída de sigmoid entre zero e um multiplicada elemento a elemento por um vetor. Ele preserva, suprime ou mistura features conforme entrada e estado anterior. Seus valores são consequências aprendidas do objetivo, não switches semânticos definidos manualmente.

Uma LSTM mantém cell state $c_t$ além do hidden output $h_t$. Uma formulação calcula forget gate $f_t$, input gate $i_t$, output gate $o_t$ e candidato $\tilde c_t$. O update central é

seguido por $h_t=o_t\odot\tanh(c_t)$. Todos os gates dependem de $x_t$ e $h_{t-1}$ por mapas afins aprendidos.

O termo forget decide quanto de cada coordenada anterior permanece. O termo input controla quanto do candidato é escrito. O output gate controla qual conteúdo transformado aparece como hidden state para previsões e próxima recorrência. Como o update do cell é aditivo, um componente com forget perto de um transporta valor e gradiente sem atravessar repetidamente toda a transformação não linear.

É uma rota melhor, não memória perfeita. Gates podem aprender valores abaixo de um e causar decaimento exponencial. O cell finito enfrenta informações concorrentes. Gates saturados aprendem devagar, e sequências longas ainda exigem credit assignment correto. Bias inicial às vezes favorece lembrança, mas a política adequada depende da tarefa e implementação.

Uma GRU une cell e hidden state. Seu update gate controla a interpolação entre estado anterior e candidato; reset gate controla quanto do estado entra na construção do candidato. Equações variam por convenção, inclusive se reset atua antes ou depois da matriz. Essas variantes não são sempre equivalentes; compatibilidade de checkpoint exige definição precisa.

GRUs têm menos gates e parâmetros que LSTMs comparáveis, reduzindo compute. LSTMs expõem caminho de cell separado e podem oferecer mais controle. Nenhuma vence universalmente. Dataset, estrutura da sequência, largura, implementação e tuning influenciam. Comparação justa iguala parâmetros ou compute e relata as equações.

Visualizar gates informa, mas incentiva antropomorfismo. Um valor alto num token não prova que a unidade guarda um fato nomeável. Features são distribuídas, gates interagem entre coordenadas e transformações downstream podem ignorar conteúdo preservado. Intervenções causais e avaliação na tarefa fornecem evidência mais forte que heatmap isolado.

Recorrência com gates foi avanço central em fala, tradução, séries temporais e linguagem. Transformers trocaram compressão recorrente por acesso com attention e mais paralelismo, mas gates persistiram: MLPs como SwiGLU usam controle multiplicativo relacionado. A ideia durável é que estado aditivo com válvulas aprendidas cria vias treináveis de informação por uma computação longa.

Para comparar células, iguale parâmetros ajustando hidden width e relate latência e memória nos comprimentos de interesse. Igualar apenas width favorece a GRU menor em custo; igualar parâmetros muda capacidade. Teste também resets no streaming: carregar estado entre sequências sem relação cria vazamento com aparência de memória excelente. Distribuições dos gates ajudam a detectar células sempre abertas ou fechadas, mas precisam ser interpretadas junto do desempenho.

Inclua múltiplas seeds, pois diferenças pequenas entre células frequentemente ficam dentro da variância de otimização.