Uma história em 60 segundos: de n-grams à era do GPT-5

1

Conceito

A modelagem de linguagem é mais antiga do que as redes neurais modernas. A tarefa persistente é atribuir probabilidades a sequências ou, de forma equivalente, estimar um próximo item a partir do que veio antes. O que mudou entre gerações foi a maquinaria usada para representar contexto e compartilhar evidência. A história responde repetidamente à mesma pergunta: como aproveitar mais contexto sem tornar a estimação ou o cálculo inviável?

Um modelo de n-grams responde com contagens. Um trigram estima a próxima palavra usando as duas anteriores. Se “arroz com” aparecer muitas vezes antes de “feijão”, essa continuação recebe probabilidade alta. Técnicas de suavização reservam alguma massa para combinações ausentes do corpus. A abordagem é inspecionável e funciona bem quando os dados combinam com a tarefa, mas sua tabela é esparsa: contextos parecidos não compartilham conhecimento automaticamente, e a janela fixa esquece diferenças mais antigas.

Modelos neurais de linguagem substituíram grande parte dessa tabela por representações contínuas aprendidas. O trabalho de Bengio e colegas, em 2003, mapeou itens do vocabulário para vetores e alimentou uma rede neural com uma janela fixa. Palavras semelhantes podiam adquirir representações próximas, transferindo evidência entre combinações. Aparecia ali o padrão ainda reconhecível: embeddings, uma função parametrizada, logits sobre o vocabulário, softmax e treinamento para elevar a probabilidade do texto observado.

Redes neurais recorrentes removeram, em princípio, a janela fixa. A cada passo, uma RNN combina o token atual com um estado oculto vindo do passo anterior. Esse estado pode resumir um prefixo arbitrariamente longo, mas gradientes podem desaparecer ou explodir depois de muitas atualizações. LSTM e GRU acrescentaram gates para preservar ou substituir informação. O cálculo recorrente também limita o paralelismo: o passo vinte depende do estado produzido no dezenove.

Attention ganhou destaque na tradução neural ao permitir que o decoder consultasse diferentes estados do encoder, sem comprimir toda a frase-fonte num único vetor. Em 2017, o Transformer tornou attention a principal operação de mistura da sequência e retirou a recorrência. Durante o treinamento, todas as posições formam queries, keys e values por grandes operações matriciais. A máscara causal impede que o modelo veja respostas futuras, mesmo com as posições calculadas em paralelo.

Modelos no estilo GPT usam o lado decoder dessa arquitetura para previsão autorregressiva. Gerações sucessivas ampliaram parâmetros, datasets, janelas de contexto, infraestrutura e pós-treinamento. Instruction tuning e otimização por preferências mudaram a forma como um predictor base se comporta como assistente. Ferramentas, retrieval, entradas multimodais e treino orientado a raciocínio adicionaram capacidades ao redor da mesma interface central: dado o prefixo em tokens, produzir logits para a continuação.

Expressões como “era do GPT-5” são rótulos históricos, não fronteiras científicas precisas. Sistemas públicos combinam modelos, roteadores, ferramentas, camadas de segurança, caches e lógica de produto, enquanto empresas divulgam níveis diferentes de detalhe. Contagem de parâmetros isolada não descreve capacidade. Qualidade dos dados, alocação de compute, arquitetura, orçamento de inferência e avaliação também importam. Uma timeline séria não transforma lançamentos de marketing numa lei simples de progresso.

A lente útil reúne continuidade e mudança de representação. Contagens explicitavam regularidades locais. Redes neurais as comprimiram em parâmetros compartilhados. Recorrência transportou contexto num estado. Attention abriu rotas entre posições. Escala ampliou capacidades, e pós-treinamento facilitou direcioná-las. Nada disso converte probabilidade em verdade garantida. O objetivo aprende estruturas notáveis, mas confiabilidade ainda pede evidência, avaliação e, muitas vezes, ferramentas externas.