O explorador de anatomia

Anatomia de um LLM

Um bloco transformer, desenhado em escala e desmontado. Clique num marcador para abrir um componente — ou use as setas do teclado.

Diagrama de um bloco transformer, das embeddings até o amostrador

ESPÉCIME 3D · CLIQUE NUM PONTO PARA EXPLORAR

  • Anotações do espécime

Codificação de entrada

Tokenizador

Texto em inteiros

Divide o texto em unidades de subpalavra e mapeia cada uma para um inteiro. Todo custo seguinte — tamanho de contexto, preço por chamada, throughput — é contado nessas unidades.

Dados principais

Parâmetros
None (a lookup table, not learned weights)
Custo
Negligible at inference
Introduzido
BPE: Sennrich et al., 2016
Variantes
BPE · SentencePiece · byte-level BPE · Unigram
Ver a aula

A matemática

Entre arquiteturas

A jornada de um token

Modos de falha

Onde se encaixa