Custo por token

01 · Conceito

Conceito

Você tem um produto. Ele envia ao Qwen3.8-27B cerca de 200 milhões de tokens de entrada e recebe cerca de 40 milhões de tokens de saída por mês — um assistente de suporte com uso real, cinco partes de prompt e contexto para uma parte de resposta. Alguém precisa decidir como ele será servido, e todo argumento naquela reunião será um substituto para um número que ninguém calculou. Esta lição o calcula de três formas, e a disciplina que ela ensina importa mais que o vencedor: declare cada hipótese ali mesmo, de modo que, quando um preço ou um número de throughput mudar, o leitor consiga refazer a conta inteira sem você.

Opção um, o endpoint gerenciado por token. O Cloudflare Workers AI lista o modelo como oferta de primeira parte, e em agosto de 2026 seus preços publicados são USD 0,45 por milhão de tokens de entrada e USD 3,20 por milhão de tokens de saída.

Note o formato tanto quanto o tamanho: a conta é proporcional ao tráfego, então um mês parado custa quase nada e uma semana viral custa proporcionalmente mais. Não há capacidade a planejar, nem caminho de upgrade a negociar, nem superfície operacional alguma — que é o argumento da lição 8.12 reenunciado como fatura.

Opção dois, uma GPU de data center alugada rodando vLLM. Duas hipóteses, ambas declaradas em vez de cotadas: uma instância classe 80 GB a USD 2,50 por hora, e uma taxa agregada sustentada de 800 tokens de saída por segundo sob continuous batching. Nenhuma das duas é cotação de fabricante; substitua pelas suas, de uma página real de provedor e de um benchmark real.

Aqui está o desvio errado clássico, e é a razão de esta lição existir. O engenheiro divide aluguel por capacidade, obtém

compara com USD 3,20, anuncia uma economia de 3,7 vezes e propõe assumir a stack de serving. A aritmética está correta e a conclusão está errada, porque você não aluga tokens, aluga segundos. A carga precisa de 40 milhões de tokens de saída, então a instância roda a

aproximadamente catorze vezes o preço do endpoint. A economia era real, mas pertencia a uma carga oito vezes maior que esta. Encontre o cruzamento explicitamente: uma unidade de carga de 5 milhões de entrada mais 1 milhão de saída custa no endpoint

então a GPU alugada vence acima de aproximadamente 1,7 bilhão de tokens de entrada e 335 milhões de saída por mês — o que, tranquilizadoramente, é apenas cerca de 16 por cento da capacidade assumida, então a configuração é viável em vez de autocontraditória. O orçamento de memória da lição 9.3 é o que torna essa alegação de capacidade verificável afinal: 54 GB de pesos contra uma placa de 80 GB deixam espaço para um número limitado de sequências concorrentes a 64 KiB por token em cache, e a concorrência é precisamente o que transforma um orçamento de memória no número de throughput do denominador.

Opção três, hardware Apple próprio. Assuma um Mac grande de unified memory a USD 6.000, amortizado de forma linear em 36 meses, consumindo 150 watts em média ao longo do mês ligado, a USD 0,25 por quilowatt-hora.

A lição 9.6 fornece apenas uma heurística pelo tamanho do artefato perto de 47 tokens por segundo, que não prova capacidade. Assuma aqui 25 tokens sustentados por segundo medidos: 65,7 milhões por mês, com a carga usando cerca de 61 por cento, desde que as requisições não cheguem em rajadas que uma máquina de fluxo único não consiga absorver.

Alinhe os três e o resultado é genuinamente instrutivo: USD 218 brutos no gerenciado antes da franquia diária, USD 1.825 alugado, USD 194 próprio. O endpoint gerenciado e o Mac próprio ficam a doze por cento um do outro, um erro de arredondamento diante da diferença em todo o resto, enquanto a GPU alugada perde por uma ordem de grandeza puramente por utilização.

A forma geral vale memorizar porque sobrevive a toda mudança de preço: custo por token é o custo de sistema por unidade de tempo dividido pelos tokens produzidos por unidade de tempo, e toda lição desta track alimentou um desses dois termos. A bandwidth e o roofline fixam a taxa atingível; o orçamento do KV cache fixa a concorrência, que fixa a taxa agregada; a quantização move os dois; o interconnect decide se chips extras de fato acrescentam throughput; e a utilização — o termo que ninguém coloca num slide — decide se custos fixos são uma pechincha ou um passivo.

Este é o fim do curso. Você começou com uma função de contexto para uma distribuição sobre 248.320 tokens e agora consegue traçar essa função de ponta a ponta: como texto vira vetores, como attention e Gated DeltaNet os misturam, por que 16 de 64 camadas fazem cache de 64 KiB por token enquanto as outras 48 mantêm 144 MiB planos no caminho float32 de referência, como os pesos foram treinados e alinhados, como uma stack de serving os escalona, qual silício os lê mais rápido, e quanto custa um mês disso. Mais útil ainda, você agora consegue dimensionar uma implantação que nunca viu — ler um arquivo de config, derivar suas demandas de memória e bandwidth, escolher uma stack, escolher hardware e defender a escolha com aritmética em vez de slides de fabricante. Essa habilidade sobrevive a este modelo, e o próximo estará esperando por ela.