A probabilidade de que você realmente precisa

1

Conceito

Uma probabilidade é um número entre zero e um que expressa incerteza dentro de um modelo. Zero exclui um evento; um o torna certo segundo aquele modelo. Para possibilidades mutuamente exclusivas, as probabilidades somam um. A saída de próximo token de um modelo de linguagem é uma distribuição categórica: uma probabilidade para cada item do vocabulário. A distribuição é a previsão; selecionar um token é uma operação separada de decoding.

Probabilidade sempre depende de premissas e informação. Escrevemos $P(A)$ para o evento $A$ e $P(A\mid B)$ para a probabilidade de $A$ sabendo que $B$ ocorreu. Modelagem de linguagem é condicional: $P(x_t\mid x_1,\ldots,x_{t-1})$. O mesmo token pode ser provável após um prefixo e improvável após outro. “Mercúrio” depois de “o planeta mais próximo do Sol é” difere de “o metal líquido é”.

Uma variável aleatória associa valores aos resultados possíveis. A distribuição informa como a massa de probabilidade se reparte. Para uma variável discreta $X$, a esperança é a média ponderada $E[X]=\sum_x p(x)x$. Ela não precisa ser um resultado observável: a esperança de um dado justo é 3,5, embora nenhuma face mostre 3,5. Em machine learning, a loss esperada resume desempenho sobre exemplos ou saídas possíveis.

A regra da cadeia decompõe a probabilidade de uma sequência. Para tokens $x_1,\ldots,x_T$,

Essa identidade explica por que prever repetidamente o próximo token define uma probabilidade para uma passagem inteira. Também mostra por que probabilidades de sequências longas ficam minúsculas: multiplicamos muitos números abaixo de um. Valores tão pequenos são inconvenientes em precisão finita, portanto implementações trabalham com logaritmos.

Como $\log(ab)=\log a+\log b$, o produto vira soma. O log de uma probabilidade é no máximo zero. Um evento mais provável tem log-probabilidade mais próxima de zero; um impossível tende a menos infinito. O treinamento costuma minimizar a negative log-likelihood, apenas invertendo o sinal para que previsões melhores resultem num objetivo menor. A média por token facilita comparar sequências.

Duas regras evitam erros comuns. Primeiro, $P(A\mid B)$ geralmente não é $P(B\mid A)$. Um sintoma pode ser comum entre pessoas com certa condição, enquanto a condição continua rara entre quem apresenta o sintoma. Segundo, probabilidade alta não equivale a verdade. O modelo estima regularidades dos dados e do treinamento; um equívoco fluente pode receber massa alta. Calibração pergunta se eventos previstos com 70% acontecem aproximadamente 70% das vezes em casos comparáveis.

Softmax conecta pontuações livres a uma distribuição. Dados logits $z_i$, calcula $p_i=e^{z_i}/\sum_j e^{z_j}$. Somar a mesma constante a todos os logits não altera as probabilidades, porque importam as diferenças relativas. Temperatura divide logits antes de softmax e muda a concentração da distribuição. Essas operações manipulam incerteza; não acrescentam evidência.

O kit prático é pequeno: normalize distribuições, condicione ao contexto, use a regra da cadeia para sequências, esperança para médias e logs para produtos estáveis. Preserve a distinção entre a distribuição do modelo e o mundo descrito. Com isso, loss, entropia, perplexidade, sampling e cross-entropy tornam-se variações de ideias conhecidas, não fórmulas soltas.