A probabilidade que você realmente precisa

01 · Conceito

Conceito

Comece por uma situação concreta, antes de qualquer vocabulário. Você rodou o Qwen3.8-27B sobre um prompt e a camada final lhe entregou 248.320 números brutos, um por linha do tensor de saída. Eles não são probabilidades: alguns são negativos, alguns são grandes, e certamente não somam nada conveniente. Agora alguém precisa transformar essa pilha numa distribuição de verdade, e depois alguém precisa escolher um token a partir dela. Quase toda a probabilidade de que você precisa neste curso é a maquinaria desses dois passos.

Comece pelo que é uma distribuição. Uma probabilidade é um número entre zero e um que expressa incerteza sob um modelo. Para possibilidades mutuamente exclusivas, as probabilidades somam um. Depois de qualquer mascaramento do runtime, o softmax produz uma distribuição categórica: valores não negativos que somam um sobre os candidatos que o decoder pode selecionar. O vetor de saída bruto do Qwen tem comprimento 248.320, enquanto os artefatos do tokenizer mapeiam 248.077 ids. Repare no que isso torna explícito. A distribuição é a resposta do modelo. Escolher um token a partir dela é uma decisão separada, tomada por código que você configura, não pela rede.

Probabilidade é sempre condicionada a alguma coisa. Escrevemos $P(A)$ para a probabilidade de $A$, e $P(A \mid B)$ para a probabilidade de $A$ dado que $B$ vale. Modelagem de linguagem é condicional do começo ao fim: $P(x_t \mid x_1,\ldots,x_{t-1})$. O token Mercúrio é uma continuação excelente de o planeta mais próximo do Sol é e péssima depois de o metal líquido é. Condicionar é o jogo inteiro, e a história da lição 0.2 é a história de quanto de $x_1,\ldots,x_{t-1}$ um modelo podia se dar ao luxo de olhar.

A regra da cadeia monta a probabilidade de uma sequência a partir dessas condicionais:

Essa identidade é a razão pela qual prever repetidamente o próximo token define uma probabilidade para uma passagem inteira. Ela também explica um problema prático imediato: multiplique algumas centenas de números menores que um e o resultado sofre underflow para zero em ponto flutuante. Por isso as implementações trabalham com logaritmos. Como $\log(ab) = \log a + \log b$, o produto vira soma. O log de uma probabilidade é no máximo zero, mais próximo de zero para eventos mais prováveis, tendendo a menos infinito para os impossíveis. O treinamento minimiza a negative log-likelihood, que inverte o sinal para que previsões melhores deem um número menor, e fazer a média por token torna comparáveis sequências de comprimentos diferentes.

Agora a ponte dos scores brutos até essa distribuição. Dados logits $z_i$, o softmax computa

Exponenciar torna todo valor positivo; dividir pelo total faz com que somem um. Uma propriedade vale memorizar: somar a mesma constante a todos os logits deixa as probabilidades inalteradas, porque a constante sai como fator do numerador e do denominador. O softmax só se importa com diferenças entre logits.

Faça o exemplo da temperatura numericamente, usando três logits e ignorando os outros 248.317 por legibilidade. Tome $z = (4.0, 2.0, 1.0)$. Exponenciando dá $54.60$, $7.39$ e $2.72$, somando $64.71$, então as probabilidades são cerca de $0.844$, $0.114$ e $0.042$. Isso é temperatura 1,0, o preset que o Qwen3.8-27B usa no modo de raciocínio. Agora aplique temperatura $T = 0.7$, o preset do modo instruct do modelo. A temperatura divide os logits antes do softmax: $z/T = (5.714, 2.857, 1.429)$. Exponenciando dá aproximadamente $303.1$, $17.4$ e $4.17$, somando $324.7$, então as probabilidades passam a ser cerca de $0.934$, $0.054$ e $0.013$. O líder ganhou nove pontos de probabilidade e a cauda perdeu quase tudo o que tinha. Nada no modelo mudou; só a nitidez da leitura.

Existe aqui um erro clássico no qual vale a pena entrar de propósito. Suponha que você tivesse dividido as probabilidades por 0,7 e renormalizado. Você obteria $0.844/0.7 = 1.206$, $0.163$ e $0.060$, somando $1.429$; dividindo tudo por esse total volta-se a $0.844$, $0.114$, $0.042$. Exatamente a distribuição original. Escalar toda probabilidade por uma constante e renormalizar é uma operação nula, porque a constante se cancela do mesmo jeito que uma constante somada se cancela para logits. A temperatura só faz algo porque atua antes da exponencial, onde uma mudança multiplicativa no expoente vira uma mudança não linear no resultado. Se o seu sampler aplica a temperatura no lado errado do softmax, o parâmetro vai parecer não fazer nada, e esse é um bug real que gente de verdade coloca em produção.

Duas regras evitam a maior parte dos erros de raciocínio probabilístico. Primeira: $P(A \mid B)$ não é $P(B \mid A)$; um sintoma pode ser comum entre pacientes com uma doença rara enquanto a doença continua rara entre pessoas com o sintoma. Segunda: esperança não é resultado; o valor esperado $E[X] = \sum_x p(x) x$ de um dado honesto é 3,5, e nenhuma face mostra 3,5. A loss esperada, quantidade que o treinamento minimiza, é uma média sobre exemplos com a qual nenhum exemplo isolado precisa se parecer.

O kit de trabalho é pequeno: normalize com softmax, condicione ao contexto, multiplique condicionais com a regra da cadeia, trabalhe em logs por estabilidade, e mantenha a distribuição do modelo firmemente distinta do mundo que ela descreve. Com essas cinco peças, cross-entropy, entropia, perplexidade e todo método de sampling da track 7 são variações em vez de assuntos novos.