Tokenization II: BPE, passo a passo

01 · Conceito

Conceito

A lição 1.2 afirmou que pedaços de subpalavra são aprendidos de um corpus e deixou o aprendizado sem explicação. Esta lição faz isso na mão, com um corpus pequeno o bastante para contar no papel, porque o algoritmo é genuinamente simples e a parte interessante é o que acontece entre os merges.

Tome um corpus com três palavras nestas frequências: low cinco vezes, lower duas e lowest três. Divida cada palavra em caracteres e acrescente um marcador de fim de palavra, escrito aqui como um sublinhado para que um pedaço que encerra a palavra seja distinguível do mesmo pedaço no meio dela. O corpus agora é l o w _ com contagem 5, l o w e r _ com 2 e l o w e s t _ com 3.

Conte todo par adjacente, ponderando pela frequência da palavra. O par l o aparece nas três palavras, dando $5 + 2 + 3 = 10$. O par o w dá 10 do mesmo jeito. O par w _ aparece só em low, dando 5. O par w e aparece em lower e lowest, dando 5. Depois e r dá 2, r _ dá 2, e s dá 3, s t dá 3 e t _ dá 3. Dois pares empatam no topo, então a regra de desempate da implementação decide; fique com l o.

Funda esse par em toda parte. O corpus vira lo w _ em 5, lo w e r _ em 2 e lo w e s t _ em 3. Aqui está o passo que as pessoas pulam: as contagens precisam ser recalculadas. O par l o não existe mais em lugar nenhum, e uma unidade nova lo apareceu com vizinhos novos. Recontando, lo w dá 10, que agora vence sozinho. Funda esse par e o corpus vira low _ em 5, low e r _ em 2, low e s t _ em 3, com o vocabulário tendo ganhado o pedaço low.

Reconte de novo. Agora low _ ocorre 5 vezes e low e ocorre $2 + 3 = 5$ vezes, empatados, com e s, s t e t _ em 3 cada e e r, r _ em 2. Suponha que o desempate escolha low _, produzindo uma unidade única para a palavra isolada low. O quarto merge então pega low e, dando o radical compartilhado de lower e lowest. Quatro merges depois, o algoritmo descobriu por conta própria algo que se parece com um morfema, e descobriu por uma razão puramente estatística: aquela string vivia sendo adjacente a si mesma.

Toda decisão acima é gulosa. O algoritmo seleciona o melhor par sob a segmentação atual, nunca reconsidera e nunca planeja rumo a um vocabulário globalmente ótimo. O desempate, a representação das fronteiras de palavra, a normalização aplicada antes e a escolha das unidades base são todas decisões de implementação, e é por isso que duas ferramentas que dizem fazer BPE não precisam produzir tokenizers idênticos.

Agora a distinção que importa em produção. O treino aprende um vocabulário e uma lista ordenada de regras de merge. A codificação aplica essa lista fixa. Uma leitura errada comum é achar que a codificação funciona varrendo o vocabulário atrás da entrada mais longa que casa, como faria uma consulta a dicionário. Não funciona, e a diferença é observável. A codificação aplica merges na ordem de rank aprendida: divide em unidades base e depois aplica repetidamente o merge de rank mais alto que esteja aplicável no momento. Um pedaço longo pode estar no vocabulário e ainda assim nunca ser produzido para uma dada entrada, porque a sequência de merges que o construiria não é alcançável a partir do estado intermediário daquela entrada. Publique um modelo só com o vocabulário e sem os ranks de merge e o tokenizer dele se torna irreprodutível, ainda que todos os pedaços estejam presentes.

A codificação também nunca reconta nada a partir do seu prompt. Se recontasse, a mesma palavra poderia tokenizar diferente na terça-feira, e cada id endereça uma linha de embedding que aprendeu seu valor sob um mapeamento específico. A lista de merges faz parte do contrato do modelo, exatamente como a lição 1.2 argumentou para o vocabulário.

A frequência cria eficiência e viés no mesmo movimento. Strings comuns no corpus de treino viram tokens únicos e consomem uma posição; strings raras ali continuam sendo cadeias longas, por mais ordinárias que sejam para quem as fala. Maiúsculas, espaços em branco e normalização mudam todos quais pares estavam disponíveis para fundir. O algoritmo não tem conceito de morfema. Às vezes ele os encontra, puramente porque uma unidade significativa tende a ser uma unidade reutilizável.

O tamanho do vocabulário é a troca que governa tudo. Mais merges encurtam as sequências comuns mas aumentam a tabela de embeddings e a projeção de saída, o que para o Qwen3.8-27B significa 5120 números por linha, duas vezes, já que suas matrizes de entrada e de saída são separadas. Menos merges encolhem essas matrizes e alongam toda sequência, elevando o trabalho de attention e de decodificação. A lição 5.3 revisita a escolha pelo lado do treino; não há razão universal de tokens por palavra a que apelar.

A imagem que fica é uma escada de pedaços reutilizáveis. Comece com unidades capazes de soletrar qualquer string Unicode normalizada válida, promova a combinação adjacente mais frequente um degrau por vez e mantenha um registro numerado das promoções para que a subida possa ser repetida exatamente. A escada comprime padrões de superfície. O que esses pedaços significam continua sendo, inteiramente, problema da rede neural.