Objetivos: causal LM, MLM, span corruption e FIM

1

Conceito

Pretraining precisa de mais que texto e rede neural. Precisa de uma regra que transforme texto em inputs, targets e loss. Esse objetivo determina o que cada previsão pode enxergar e qual erro o optimizer corrige. Dois modelos no mesmo corpus, com padrões diferentes de corrupção e visibilidade, praticam habilidades distintas.

Causal language modelling fatora a sequência da esquerda para a direita. Na posição $i$, o modelo prevê $x_{i+1}$ a partir de $x_{\le i}$. Uma máscara triangular impede vazamento futuro, enquanto targets deslocados fornecem loss em quase toda posição. O objetivo coincide diretamente com geração autoregressiva: inference entrega prefixo, prevê um token e repete. A limitação é que uma representação inicial não usa contexto à direita.

Masked language modelling (MLM), associado ao BERT, seleciona tokens para corrupção e pede a um encoder bidirecional os originais. Posições comuns leem esquerda e direita, construindo representações de contexto completo. Apenas targets selecionados contribuem para a reconstrução principal, tornando o sinal menos denso que next-token loss. O processo especial de corrupção também cria diferença entre inputs de pretraining e texto comum; implementações mitigam isso misturando mask, token aleatório e token selecionado inalterado.

Span corruption, usado pelo T5, remove trechos contíguos em vez de tokens majoritariamente independentes. Cada região ausente vira uma sentinela no input. O decoder emite as sentinelas e o texto correspondente. Isso treina um encoder–decoder a condensar a fonte visível e gerar passagens de tamanho variável. Lacunas contínuas lembram resumo ou completion mais que espaços isolados.

Fill-in-the-middle (FIM) ensina um decoder autoregressivo a preencher um span interno. Um documento é dividido em prefixo, meio e sufixo. Tokens especiais reorganizam a sequência para o modelo receber prefixo e sufixo antes de prever o meio. A loss continua sendo next-token cross-entropy; a transformação dos dados muda o que o “contexto anterior” contém. Isso é útil em código, onde o trabalho frequente é editar dentro de um arquivo existente.

Objetivos não são rótulos intercambiáveis. Máscaras de attention, tokens especiais, packing, construção de targets e loss masks precisam concordar. Se um target de MLM fica visível, há vazamento. Se as fronteiras de FIM diferem entre treinamento e inference, o modelo não reconhece o pedido. Configuração do tokenizer pertence ao contrato do objetivo.

Misturas são possíveis. Um decoder recebe exemplos causais comuns e uma fração transformada em FIM. Encoder–decoder mistura comprimentos de span ou padrões de denoising. Os pesos da mistura decidem como compute escasso se divide entre habilidades, portanto devem ser registrados e avaliados.

Qualidade também depende de fronteiras. Concatenar documentos sem separador ensina transições artificiais. Corromper através de fronteiras cria reconstruções inexistentes. Calcular loss sobre padding desperdiça sinal. Um pipeline correto carrega identidade de documento, boundary tokens e loss masks até o batch.

A avaliação precisa corresponder ao jogo praticado e testar transferência. Meça causal perplexity, reconstrução em corrupções held-out, exatidão FIM ou testes de código e tarefas downstream relevantes. Loss menor entre objetivos diferentes não é diretamente comparável porque targets e informação visível mudam.

A pergunta durável é: qual jogo de previsão consome cada unidade de compute? Causal LM pratica continuação; MLM, recuperação bidirecional; span corruption, reconstrução condicionada; FIM, inserção entre arredores conhecidos. Arquitetura limita os jogos; objetivo escolhe o comportamento recompensado repetidamente.