O que é, de verdade, um modelo de linguagem?

1

Conceito

Um modelo de linguagem atribui probabilidades a sequências de linguagem. Essa definição curta é mais útil do que dizer que se trata de “uma IA que conversa”, porque revela o cálculo que o sistema realmente faz. Dado um contexto, um modelo de linguagem causal estima qual token tem maior chance de aparecer em seguida. Se o contexto for “A capital da França é”, a distribuição provavelmente reservará uma parcela grande para “Paris”, parcelas menores para sinais de pontuação ou outras cidades e valores minúsculos para tokens sem relação com o assunto.

A palavra token é importante. Modelos normalmente não leem letras e palavras da mesma maneira que nós as enxergamos. Primeiro, um tokenizer converte o texto em uma sequência de IDs discretos. Conforme o tokenizer, um token pode representar uma palavra frequente inteira, parte de uma palavra, pontuação ou até um byte. O modelo recebe esses IDs e os transforma em vetores. Veremos esse processo em detalhes mais adiante; por enquanto, pense no token como uma unidade selecionável do vocabulário do modelo.

Em uma etapa de geração, o modelo produz uma pontuação para cada item do vocabulário. Uma função matemática chamada softmax converte essas pontuações em uma distribuição de probabilidade cujos valores somam um. Uma regra de decoding escolhe um token dessa distribuição. O token escolhido é anexado ao contexto, e o processo inteiro se repete. Assim, um parágrafo surge uma decisão por vez:

1. Converter o texto atual em tokens.
2. Prever probabilidades para o próximo token.
3. Selecionar um token.
4. Anexá-lo e fazer uma nova previsão.

Esse objetivo de treinamento aparentemente simples alcança muita coisa porque prever o próximo token exige sensibilidade a várias estruturas ao mesmo tempo. A gramática restringe as formas que podem vir depois. O tema determina quais conceitos são relevantes. Uma aspa de abertura cria a expectativa de fechamento. Um nome apresentado vários períodos antes pode determinar um pronome agora. Regularidades factuais nos dados de treinamento podem tornar uma continuação muito mais provável do que outra. O objetivo é estreito, mas os padrões úteis para cumpri-lo bem são amplos.

Treinamento e geração são fases diferentes. Durante o treinamento, o modelo observa muitas sequências de texto e ajusta bilhões de parâmetros numéricos para aumentar a probabilidade dos próximos tokens realmente observados. Esse ajuste usa otimização: mede-se o erro da previsão, calcula-se como cada parâmetro contribuiu para o erro e deslocam-se os parâmetros numa direção que tende a reduzir erros futuros. Durante a inferência, esses parâmetros ficam fixos. O modelo aplica as transformações aprendidas a um prompt novo e gera probabilidades.

Isso não equivale a guardar uma tabela gigantesca de perguntas e respostas. A memorização exata pode ocorrer, especialmente com passagens repetidas ou muito distintas, e constitui um problema real de privacidade e avaliação. Porém, um modelo útil também generaliza: consegue continuar combinações de ideias e redações que nunca apareceram literalmente no treinamento. O conhecimento aprendido fica distribuído entre pesos numéricos, não organizado como uma biblioteca limpa de documentos-fonte. Por isso, a pergunta “de qual página veio esta resposta?” muitas vezes não tem uma única resposta.

A visão probabilística também explica por que fluência não garante verdade. O treinamento recompensa a previsão de texto semelhante aos dados, não a consulta à realidade nem a demonstração de cada afirmação. Uma frase falsa pode ser linguisticamente provável. O modelo pode repetir um equívoco comum, misturar padrões incompatíveis ou continuar com confiança uma premissa errada. Retrieval, calculadoras, execução de código e sistemas de verificação podem elevar a confiabilidade, mas são processos ao redor do modelo de linguagem; não mudam sua operação básica de prever o próximo token.

Essa definição tampouco resolve se o modelo “entende”. A palavra carrega questões filosóficas e cognitivas que vão além do cálculo observável. Podemos afirmar com precisão que o modelo constrói representações internas sensíveis ao contexto e as usa em muitas tarefas. Também podemos afirmar que suas saídas vêm de estruturas estatísticas aprendidas e podem falhar de maneiras incomuns para um falante humano confiante. Manter esses dois fatos juntos é uma base melhor do que tratar o sistema como magia ou descartá-lo como simples cópia.

O modelo mental essencial é, portanto, modesto e poderoso: um modelo de linguagem é um mecanismo aprendido de probabilidades sobre sequências de tokens. Conversa, tradução, resumo, geração de código e resposta a perguntas surgem da previsão condicional repetida, moldada pelos dados, pela arquitetura, pelo pós-treinamento, pelo prompt e pelo método de decoding.