Prefill e decode: duas máquinas diferentes

1

Conceito

Inferência costuma ser descrita como um forward pass repetido, mas a primeira passagem e as seguintes têm formatos muito diferentes. Prefill processa o prompt e cria estado de attention. Decode usa esse estado para gerar tokens uma posição por vez. Tratar tudo como o mesmo workload esconde por que uma otimização ajuda uma métrica e prejudica outra.

No prefill, o modelo recebe muitas posições juntas. Camadas lineares multiplicam matrizes de pesos por matrizes de ativações com dimensão substancial de tokens. Attention calcula interações entre posições permitidas, e cada camada grava keys e values. O acelerador explora paralelismo entre tokens, heads e entradas do batch. Prompts longos criam muito trabalho, mas podem atingir alta utilização aritmética.

A saída do prefill são logits do primeiro token novo e um KV cache preenchido. Por isso, comprimento do prompt, fila, eficiência de kernels e prefix-cache hits influenciam time to first token (TTFT). Um serviço otimizado apenas para tokens totais por segundo pode segurar prefills para formar batches grandes e fazer uma pessoa esperar.

Decode tem só uma posição nova por sequência ativa em cada etapa. O modelo ainda atravessa todas as camadas e lê os pesos, mas a matriz de ativações é fina. Também lê keys e values do cache. Pode haver aritmética insuficiente por byte movido para saturar compute. Por isso decode é descrito como limitado por memory bandwidth, embora o gargalo dependa de batch, modelo, contexto, kernel e hardware.

Um roofline model esclarece a diferença. Hardware possui um teto de throughput aritmético e outro de bandwidth. A intensidade aritmética de um kernel é a quantidade de operações por byte transferido. Trabalho de baixa intensidade atinge primeiro o teto de memória; trabalho de alta intensidade se aproxima do teto de compute. Prefill costuma ter intensidade maior que decode de uma sequência. Batching de decode combina sequências e reutiliza pesos, aumentando trabalho útil por leitura.

Batching não é gratuito. Esperar um batch maior aumenta latência de fila. Sequências terminam em momentos e comprimentos distintos. Continuous batching insere requisições novas à medida que antigas acabam, trocando um retângulo estático por um conjunto mutável. O scheduler equilibra throughput, TTFT, inter-token latency, fairness e memória.

Prefill e decode podem interferir. Um prefill grande consome compute e bandwidth enquanto requisições de decode precisam de cadência regular. Chunked prefill divide o prompt para intercalar etapas. Alguns sistemas separam as fases em workers, mas precisam transportar KV state por rede ou interconnect. O benefício deve superar transferência e coordenação.

Métricas devem separar fases: fila, duração e throughput de prefill; tempo por etapa e throughput de saída em decode. Plote percentis por comprimento e concorrência. Médias escondem um scheduler eficiente para batch que maltrata tráfego interativo.

Otimização segue a distinção. Attention kernels e prefix reuse atacam o prompt. Quantização de pesos, layout de cache, speculation e batches maiores atacam geração repetida. Scheduling conecta ambos. O modelo mental não é uma máquina fazendo uma tarefa, mas um processador paralelo de prompts entregando estado a um motor de tokens sensível à latência.