Objetivos: causal LM, MLM, span corruption, FIM

01 · Conceito

Conceito

Você tem um cluster, um corpus e uma rede de 27 bilhões de parâmetros. Nada ainda diz ao optimizer o que é um erro. Antes que exista um único gradiente, alguém precisa escrever uma regra que transforme texto bruto em entradas, alvos e uma loss. Essa regra é o objetivo de pretraining, e ela decide duas coisas: o que cada predição tem permissão de ver e qual erro é corrigido. Dois modelos treinados no mesmo corpus sob objetivos diferentes praticam habilidades diferentes, e nenhuma quantidade de compute converte uma habilidade na outra.

Comece pelo objetivo que o Qwen3.8-27B de fato usa, porque é o mais simples e o curso inteiro se apoia nele. É modelagem causal de linguagem. A sequência é fatorada da esquerda para a direita: na posição $i$ o modelo prevê $x_{i+1}$ a partir de $x_{\le i}$. Uma máscara triangular bloqueia o vazamento do futuro, e alvos deslocados fornecem uma loss em quase toda posição. É exatamente o mini-GPT que você construiu na lição 4.13, ampliado. A distribuição de saída tem uma classe por linha do output embedding, e a deste modelo tem 248.320 linhas de largura, untied em relação ao input embedding — o model card e o config dão a cada uma das duas matrizes cerca de 1,271 bilhão de parâmetros.

Trabalhe o que esse tamanho de vocabulário significa para a loss. A cross-entropy é $-\ln p(\text{token correto})$. Um modelo que não aprendeu nada e espalha massa uniformemente sobre 248.320 classes atribui $1/248{,}320$ a cada uma, então sua loss é

Rode um passo da mesma aritmética de trás para frente a partir de um valor convergido plausível. Para um modelo treinado com loss média de 2,0 nats, $e^{-2.0}\approx 0.135$ é a média geométrica das probabilidades atribuídas aos próximos tokens corretos — aproximadamente um em sete como probabilidade efetiva —, enquanto a predição uniforme dá $1/248{,}320\approx 0.000004$. A razão é de cerca de 33.000 na média geométrica da probabilidade atribuída. Ela não é a média aritmética das probabilidades por token.

Dois fatos do model card estendem o quadro para este espécime. Primeiro, ele é treinado com multi-token prediction (MTP): junto do próximo token, heads adicionais preveem tokens mais adiante. Segundo, ele é nativamente multimodal — patches de imagem e vídeo, produzidos pela vision tower da lição 4.17 e projetados no mesmo stream de 5120 dimensões, ficam na sequência ao lado dos tokens de texto e são condicionados de forma idêntica. O alvo da predição continua sendo texto.

As alternativas merecem ser conhecidas porque definem o que o causal LM abre mão. Masked language modelling, associado ao BERT, corrompe tokens de entrada selecionados e pede que um encoder bidirecional recupere os originais; posições comuns atendem nas duas direções, produzindo representações de contexto completo, mas só os alvos selecionados carregam a loss de reconstrução, então o sinal é mais esparso que a loss de próximo token. Span corruption, usada pelo T5, remove regiões contíguas marcadas por sentinelas e treina um encoder–decoder a emitir as passagens ausentes, o que se parece mais com sumarização ou completamento do que lacunas isoladas se parecem. Fill-in-the-middle mantém a cross-entropy de próximo token, mas rearranja cada documento em prefixo, sufixo e então miolo, de modo que um decoder autorregressivo aprende inserção — o formato da maior parte da edição real de código.

Esses não são rótulos intercambiáveis. Máscaras, tokens especiais, packing, construção de alvos e loss masks precisam concordar entre si. Um alvo de MLM visível vaza a tarefa. Tokens de fronteira de FIM que diferem entre treino e inferência tornam o arranjo irreconhecível. Concatenar documentos não relacionados sem separadores ensina transições que nunca ocorrem. Loss calculada sobre padding desperdiça sinal. A configuração do tokenizer é, portanto, parte do contrato do objetivo, não um pré-processamento que acontece antes dele.

Misturas são possíveis e comuns: um decoder pode ver exemplos causais comuns mais uma fração de exemplos transformados por FIM. Os pesos da mistura decidem como o compute escasso é dividido entre habilidades, então pertencem ao log da run e à avaliação, não a um script de pré-processamento que ninguém lê. Avalie contra o contrato praticado — perplexidade causal para modelos da esquerda para a direita, reconstrução para objetivos de corrupção, exatidão de infilling ou testes de código para FIM — e lembre que losses sob objetivos diferentes não são comparáveis, porque os alvos e a informação visível diferem.

A pergunta duradoura é a que se carrega para o resto desta track: que jogo de predição consome cada unidade de compute? Para este modelo a resposta é next-token prediction sobre 248.320 classes, com heads de MTP olhando mais adiante e patches de visão compartilhando a sequência. A arquitetura restringe quais jogos são possíveis; o objetivo escolhe o que é recompensado em cada token de treino que houve — quantos quer que tenham sido, número que este modelo nunca publicou.