O que é, de fato, um modelo de linguagem?

01 · Conceito

Conceito

Você digita A capital da França é numa caixa de chat e uma palavra volta: Paris. Antes de qualquer teoria, faça uma pergunta bruta de engenharia sobre essa palavra. De onde, fisicamente, ela veio? Duas respostas parecem óbvias e as duas estão erradas. Ela não foi consultada numa tabela de perguntas e respostas, porque ninguém escreveu essa tabela e o mesmo sistema responde perguntas que ninguém antecipou. E não foi decidida por uma pessoinha morando no datacenter. O que de fato aconteceu é mais estreito, mais estranho e completamente inspecionável, e este curso passa mais de cem lições abrindo essa caixa.

Do começo ao fim, não vamos falar de modelos de linguagem em geral quando pudermos falar de um. Nosso espécime é o Qwen3.8-27B, lançado em agosto de 2026 sob a licença Apache 2.0, com pesos publicados que qualquer pessoa pode baixar e abrir. Escolher um modelo real significa que toda afirmação tem onde ser verificada, e significa que os números são específicos em vez de arredondados. Aqui vai o primeiro e mais importante deles. O Qwen3.8-27B é uma função que recebe um contexto e devolve 248.320 logits para a próxima posição. Seu tokenizer mapeia 248.077 ids, e um runtime de serving transforma os logits relevantes numa distribuição de probabilidade sobre próximos tokens selecionáveis. Esse é o contrato de um modelo de linguagem instanciado, mantendo o shape do tensor distinto do mapeamento do tokenizer.

Acompanhe o pedido passo a passo. Primeiro o texto vira tokens: nem letras, nem bem palavras, mas unidades de um vocabulário fixo, que a lição 1.2 destrincha em detalhe. Esses tokens viram identificadores inteiros. Os identificadores viram vetores, e esses vetores atravessam a rede. No fim, uma última matriz produz 248.320 scores brutos, chamados logits, para a posição que estamos prevendo. Uma função chamada softmax converte esses scores em probabilidades não negativas que somam exatamente um. Essa é a saída. Talvez o token de Paris receba a maior parte da massa, um token de pontuação receba um pouco e outros candidatos mapeados dividam o que sobrou. Os artefatos publicados não especificam como todo runtime trata as 243 linhas de saída sem mapeamento no tokenizer. Aí, e só aí, uma regra separada escolhe um.

Essa última frase esconde o erro clássico, então vamos torná-lo explícito. Iniciantes dizem rotineiramente que o modelo emite uma palavra. Ele não emite. Ele emite um quarto de milhão de números, e a escolha entre eles é feita depois, por uma regra de decodificação que você controla. Isso não é preciosismo: é a razão pela qual o mesmo modelo, com o mesmo prompt duas vezes, pode responder de forma diferente. O Qwen3.8-27B vem com dois presets oficiais de sampling, um a temperatura 1,0 para o modo de raciocínio e outro a temperatura 0,7 para o modo instruct, e alternar entre eles muda a saída sem mudar um único parâmetro. A lição 0.3 explica o que a temperatura faz com uma distribuição, e a lição 7.4 concretiza os presets.

Uma escolha de enquadramento governa o curso inteiro, e é mais fácil enunciá-la agora do que descobri-la depois. Quase todo livro-texto, diagrama e tutorial ensina o Transformer como uma pilha de blocos idênticos: attention, depois uma feed-forward network, repetidos N vezes. Esse bloco uniforme é a linha de base pedagógica, e é genuinamente a coisa certa a aprender primeiro, porque todo o resto é descrito como um desvio em relação a ele. O Qwen3.8-27B é a instância entregue, e instâncias entregues modificam a linha de base por razões que são sempre de custo, memória ou hardware. Suas 64 camadas não são idênticas; apenas uma camada em cada quatro é o bloco clássico de attention que você vai estudar na track 4. O Signal Observatory na página de exploração anima a linha de base, não a instância. Quando os dois discordam, o Observatory está mostrando a ideia e o modelo está mostrando a engenharia, e cada lição vai dizer de qual dos dois está falando.

Treinamento e inferência são fases diferentes e vale mantê-las separadas desde o início. Durante o treinamento, os pesos foram ajustados para que o texto de fato observado nos dados de treino recebesse probabilidade maior do que o texto que não apareceu. Durante a inferência, que é tudo o que você experimenta como usuário, esses pesos estão congelados. Nada do que você digita ensina qualquer coisa ao modelo. O aprendizado aparente dentro de uma conversa é inteiramente efeito do contexto crescente sendo realimentado, e é por isso que o tamanho desse contexto, 262.144 tokens nativos neste modelo, acaba sendo uma manchete arquitetural e não uma nota de rodapé.

Como o conhecimento vive distribuído nos pesos em vez de em documentos recuperáveis, a pergunta de qual página veio esta resposta? geralmente não tem resposta. Memorização literal acontece, especialmente com trechos distintivos ou muito repetidos, e isso importa para privacidade e para avaliação honesta. Mas um modelo útil também continua combinações de ideias que nunca apareceram juntas em lugar nenhum, e nenhum índice de fontes conseguiria produzir isso.

Se um sistema desses compreende é uma pergunta que este curso não vai resolver, e você deve desconfiar de quem a resolve rápido demais em qualquer direção. O que podemos dizer com precisão é que ele constrói representações internas sensíveis ao contexto, que essas representações sustentam uma gama surpreendente de tarefas, e que suas falhas têm um formato característico, diferente do de um falante humano confiante. Segurar as duas metades ao mesmo tempo é uma base melhor do que misticismo ou desprezo.

Então: um motor de probabilidade aprendido sobre sequências de tokens, com 248.077 ids de token mapeados, 248.320 linhas de saída e um contexto de um quarto de milhão de posições. Conversa, tradução, sumarização e geração de código são comportamentos montados a partir dessa única operação, repetida.