Uma história de 60 segundos: dos n-gramas à era GPT-5

01 · Conceito

Conceito

Suponha que estamos em 1990 e você tem uma grande coleção de texto em inglês e um objetivo simples: prever a próxima palavra. O plano óbvio é contar. Tome as duas palavras anteriores como contexto, veja com que frequência cada palavra seguiu aquele par no seu corpus e divida. Isso é um modelo de trigramas e é um modelo de linguagem perfeitamente respeitável no sentido da lição 0.1: ele devolve uma distribuição de probabilidade sobre o vocabulário dado um contexto.

Faça a conta num exemplo. Suponha que seu corpus contenha o par butter and oitenta vezes, seguido por jelly cinquenta e duas vezes, jam nove vezes, sugar quatro vezes, e mais quinze continuações diferentes uma vez cada. A estimativa para jelly é $52/80 = 0.65$, para jam $9/80 \approx 0.11$, e assim por diante. A distribuição é honesta, inspecionável e não exigiu nenhum treinamento. Até aqui, a abordagem por contagem parece não só adequada como atraente.

Agora dê a ela o contexto quantum peanut. Seu corpus nunca conteve esse par. A estimativa de máxima verossimilhança tenta dividir cada contagem zero de continuação pela contagem zero do contexto: $0/0$, que é indefinido, portanto não existe distribuição de próxima palavra. Uma falha relacionada ocorre quando o contexto apareceu, mas uma continuação específica não: essa continuação recebe probabilidade zero, e um único fator zero aniquila a probabilidade de qualquer sequência que o contenha. Smoothing corrige os dois casos reservando massa para eventos inéditos; backoff usa o contexto mais curto peanut quando o mais longo está ausente. Reconhecedores de fala em produção rodaram sobre n-gramas suavizados por duas décadas.

Mas smoothing remenda o sintoma. O defeito mais profundo é que a tabela não consegue generalizar lateralmente. Tendo aprendido muitíssimo sobre o contexto the cat sat on the, um modelo de trigramas não sabe absolutamente nada sobre the dog sat on the, porque essas são chaves diferentes da tabela. Nada na representação diz que os dois contextos são quase o mesmo. E a tabela cresce exponencialmente: com um vocabulário de cem mil palavras, uma tabela de quadrigramas tem $10^{20}$ entradas concebíveis, das quais seu corpus preenche uma fração desprezível. Mais contexto significava uma tabela exponencialmente mais vazia. Esse é o muro.

Bengio e colegas o atravessaram em 2003 substituindo a tabela por vetores aprendidos. Cada item do vocabulário ganha uma representação contínua; uma rede neural mapeia uma janela dessas representações para uma distribuição. Como cat e dog podem receber vetores próximos, a evidência acumulada sobre um se transfere automaticamente para o outro, sem ninguém escrever uma regra. Esse artigo também fixou o formato de tudo o que veio depois: embeddings na entrada, uma função parametrizada no meio, logits sobre o vocabulário, softmax, e treinamento maximizando a probabilidade do texto observado. Todo modelo deste curso, Qwen incluído, ainda tem exatamente essa silhueta.

Redes recorrentes então removeram a janela fixa, ao menos no papel. A cada passo uma RNN mistura o token atual com um hidden state trazido do passo anterior, e esse estado pode em princípio resumir qualquer quantidade de prefixo. Na prática, gradientes encolhem ou explodem ao longo de cadeias longas de atualizações, então as partes iniciais do resumo se dissipam. Células LSTM e GRU adicionaram gates que decidem o que guardar e o que sobrescrever, o que ajudou bastante. O que não deu para consertar foi o sequenciamento: o passo vinte precisa do estado do passo dezenove, então o treinamento não conseguia usar uma máquina grande de forma eficiente.

Attention chegou primeiro como um remendo dentro de tradução automática, permitindo que um decoder consultasse muitos estados do encoder em vez de comprimir uma frase-fonte inteira num único vetor. O Transformer de 2017 a promoveu à operação central e apagou a recorrência por completo. Cada posição forma queries, keys e values; cada posição pode consultar cada posição anterior; e como a coisa toda é multiplicação de matrizes, o treinamento roda sobre todas as posições de uma vez. O mascaramento causal impede que um modelo de linguagem espie as respostas mesmo com todas as posições computando em paralelo.

A escala fez o resto. Parâmetros, dados, comprimento de contexto e infraestrutura de treinamento cresceram todos, e métodos de pós-treinamento como instruction tuning e otimização por preferência transformaram um preditor bruto em algo que se comporta como um assistente. Rótulos como a era GPT-5 são cronologia de marketing, não fronteiras científicas; produtos entregues empacotam modelos junto com roteadores, ferramentas, camadas de segurança e caches, e cada fornecedor divulga uma quantidade diferente disso.

O que traz a história até onde este curso a retoma. Em agosto de 2026 a equipe Qwen lançou o Qwen3.8-27B sob Apache 2.0: um modelo denso de aproximadamente 27 bilhões de parâmetros que aceita texto, imagens e vídeo e emite texto, com contexto nativo de 262.144 tokens. Duas de suas propriedades importam para esta história. Ele é multimodal, então a sequência sobre a qual ele presta attention já não é puramente linguística. E ele é híbrido: em vez de 64 blocos idênticos de attention, ele intercala attention plena com um mecanismo de estado recorrente chamado Gated DeltaNet, descendente direto da ideia de RNN que a attention supostamente aposentou. A roda não girou para trás. O estado recorrente voltou porque o custo da attention cresce com o contexto e o de um estado de tamanho fixo não cresce, e a um quarto de milhão de tokens essa diferença decide o que é possível servir. A lição 4.16 conta essa história direito.

Vale notar: não existe relatório técnico dedicado para este modelo, apenas um model card. A lição 0.8 trata dessa ausência como seu tema, e não como um inconveniente.