Serving stacks: vLLM, SGLang, TensorRT-LLM

01 · Conceito

Conceito

Você escolheu o Qwen3.8-27B; agora algo precisa servi-lo. O model card nomeia vLLM, SGLang e Transformers como caminhos suportados, o SGLang mantém uma página oficial de cookbook para exatamente este modelo, e TensorRT-LLM é a opção NVIDIA-máxima. Esta lição é deliberadamente um mapa de decisão, não um manual: cada stack ganha sua própria lição na Track 8, onde moram as flags, configs e modos de falha. Aqui você aprende apenas por qual porta entrar.

O primeiro portão é aritmética, não software. Os pesos custam 54 GB em bf16, e a lição 9.3 é dona do que sobra numa placa de 80 GB: 23,3 GiB de pool de KV depois de descontada a reserva do próprio framework, ou seja, aproximadamente 381.700 tokens a 64 KiB por token da lição 7.2, ou onze sessões de 32K. Não recorra ao óbvio $80 - 54$ aqui — essa subtração é justamente o erro trabalhado com que a 9.3 abre. Ela infla o pool só um pouco, mas dividi-lo apenas pelo contexto, como se uma sequência não custasse nada além do seu cache, superestima em um quinto quantas conversas cabem. Se seu orçamento de hardware é uma placa de 24 ou 48 GB, esta lição inteira é prematura: você está no caminho dos artefatos quantizados que passa pela lição 7.12 e pelos runners locais da Track 8, e não escolhendo entre engines de data center.

Com a capacidade resolvida, case o engine ao formato da carga. vLLM é o padrão para uma API de alta concorrência sobre conversas de comprimento variável em GPUs que você controla: ele cresceu exatamente em torno da maquinaria de PagedAttention e continuous batching da lição 7.8, serve uma API no estilo OpenAI e cobre a superfície mais ampla de modelos abertos — lição 8.4. SGLang conquista seu lugar quando seu tráfego não são prompts isolados, mas programas estruturados: pipelines de agentes fazendo muitas chamadas relacionadas, prefixos compartilhados pesados e saída JSON restrita por schema; seu reuso de prefixo RadixAttention e o escalonamento em nível de programa miram essa estrutura, e seu cookbook oficial para o Qwen3.8-27B o torna cidadão de primeira classe aqui — lição 8.5. TensorRT-LLM serve a uma frota NVIDIA comprometida atrás do último ponto percentual de latência com builds de engine em FP8, desde que um time de ops possa assumir compilação, pinagem de versões e rebuilds quando os shapes mudarem — lição 8.6. Transformers puro continua certo para um único pesquisador em uma única GPU fazendo trabalho de corretude, não de throughput — lição 8.2. Nenhuma GPU? Um endpoint gerenciado como o Workers AI serve este modelo por token — USD 0,45 por milhão de tokens de entrada e USD 3,20 por milhão de saída, em agosto de 2026 — e a lição 8.11 faz essa conta de custo.

O equívoco clássico é escolher pelo throughput de vitrine. Um benchmark de fornecedor num único batch size, num único comprimento de prompt e numa única quantization não diz quase nada sobre o seu goodput. A ordem corrigida: primeiro confirme que a versão do engine suporta o seu modelo exato — depois verifique corretude (paridade de tokenizer e chat template, tratamento do thinking mode, comportamento de parada, saída estruturada) e só então faça benchmark de versões pinadas no seu hardware, com as suas distribuições de prompt e de saída, configurações de decoding idênticas e concorrência semelhante à de produção. Meça time to first token, latência entre tokens e goodput contra o seu objetivo de latência — não um único número de pico.

Operações costumam decidir empates: métricas e traces, health checks, upgrades graduais, limpeza no cancelamento, controle de admissão, multi-tenancy, tamanho de contêiner e tempo de cold start. Um ganho marginal de kernel raramente justifica um engine que seu time não consegue diagnosticar às 3 da manhã. Misturar stacks é legítimo — geração em lote orientada a throughput num, serving interativo noutro — mas cada runtime extra multiplica os testes de conformidade.

Guarde o mapa, não os manuais: portão de hardware primeiro, depois o formato da carga — concorrência para o vLLM, estrutura de programa para o SGLang, latência NVIDIA-máxima para o TensorRT-LLM, simplicidade para o Transformers, ausência de hardware para um endpoint gerenciado — depois corretude, depois seu próprio benchmark. A Track 8 agora desce o stack como deve ser, e começa onde todo engine secretamente começa: lição 8.1, PyTorch como runtime de referência.