Modelando sequências: a configuração

1

Conceito

Uma sequência é uma coleção ordenada $x_1,x_2,\ldots,x_T$. A ordem carrega informação: “cão morde pessoa” e “pessoa morde cão” têm as mesmas palavras e eventos diferentes. Modelagem de sequência pergunta como um sistema compartilhado processa comprimentos variáveis, retém contexto relevante e produz saídas cuja relação com as posições depende da tarefa.

Em classificação de sequência, muitas entradas produzem uma saída, como sentimento. Em sequence labelling, cada posição recebe saída alinhada, como classe gramatical. Em geração, um prefixo produz repetidamente a distribuição do próximo item. Tradução mapeia uma fonte para target de comprimento diferente. Esses formatos determinam arquitetura, máscaras e loss.

Uma formulação recorrente básica mantém estado:

Os mesmos parâmetros $\theta$ são reutilizados a cada passo. Isso aplica padrões aprendidos em posições diferentes e em comprimentos não vistos exatamente. O hidden state $h_t$ é um resumo aprendido, não um registro manual de todos os tokens anteriores.

O contexto permitido depende da aplicação. Um language model causal que prevê $t+1$ não pode usar tokens futuros; o treino deve impor a fronteira mesmo com todos os targets disponíveis no arquivo. Um encoder bidirecional que classifica frase completa pode usar esquerda e direita. Usar futuro num benchmark offline invalida silenciosamente um sistema pensado para previsão ao vivo.

Sequências num batch têm comprimentos distintos. Padding preenche o tensor retangular, e uma máscara marca posições reais. Padding não deve alterar estados, receber attention nem entrar na loss, salvo intenção explícita. Representações packed ou kernels conscientes do comprimento evitam desperdício. Um bug de length pode produzir métricas excelentes ao vazar labels ou contar padding fácil.

Treinamento autorregressivo costuma usar teacher forcing: em $t$, o modelo recebe o token anterior verdadeiro, não sua própria amostra. Isso facilita targets paralelos e aprendizagem estável, mas a inferência condiciona às escolhas anteriores do modelo. Erros mudam o contexto posterior, criando exposure mismatch. Alternativas existem, porém precisam de demonstração empírica.

Capacidade do estado cria bottleneck. Um estado de tamanho fixo preserva todo detalhe necessário enquanto incorpora entradas novas. Sequências longas dificultam credit assignment porque um evento distante influencia a loss através de muitas transformações. Attention muda a configuração ao dar acesso direto e dependente do conteúdo a múltiplos estados armazenados, em vez de um único caminho comprimido.

A avaliação deve respeitar a estrutura. Accuracy por token esconde validade ruim da sequência inteira. Médias diferentes sobre padding mudam resultados. Geração requer decoding e pode admitir vários targets corretos. Relate direcionalidade, limite de contexto, truncamento, máscara, teacher forcing e agregação das métricas. A configuração não é detalhe: define qual informação o modelo usa e qual problema o score mede.

Um teste confiável cria dois exemplos iguais até $t$ e diferentes depois. A representação causal em $t$ precisa ser idêntica nos dois em modo de avaliação. Se mudar, informação futura vazou por máscara, pré-processamento, normalização ou construção de targets. Outro teste altera somente padding e confirma que outputs reais e loss permanecem iguais. Essas invariantes encontram erros que métricas agregadas recompensam em vez de denunciar.