Quanto custa um pretraining real

1

Conceito

Uma estimativa de pretraining precisa ser reproduzível, não um número dramático em dólares sem hipóteses. Comece pelo trabalho algorítmico, transforme-o em tempo medido de hardware e adicione o restante do programa. Cada fronteira responde a outra pergunta: “o que a run final consumiu?” não é “quanto custou desenvolver o modelo?”.

Para um decoder denso, uma aproximação é

onde $N$ são parâmetros sem embedding e $D$ são tokens. O fator aproxima forward e backward; attention, embeddings, sparsity, recomputação e arquitetura o alteram. Uma estimativa melhor soma operações pelos shapes reais e comprimento. Rotule toda aproximação.

Converta FLOPs em device-hours:

onde $P_{peak}$ é o pico aplicável e $u$ a utilização medida. Não use o pico de um dtype se a receita usa outro. Utilização inclui eficiência de kernel e ociosidade, mas definições variam. Use telemetria de pilotos na topologia pretendida.

Preço precisa de data e modelo de compra. Cloud on-demand, capacidade reservada, cluster negociado e hardware próprio geram taxas diferentes. Em ownership, amortize hardware, rede, instalações, manutenção, financiamento e utilização esperada. Acelerador ocioso ainda tem custo de capital; aluguel inclui margem. Apresente faixa em vez de misturar tudo com falsa precisão.

A run final é uma linha. Some scaling pilots, data ablations, tokenizer experiments, falhas, avaliação, post-training e reruns. O artigo de planejamento do BLOOM, de 2022, enquadrou a escolha em uma alocação de um milhão de A100-GPU-hours, mostrando por que o portfólio experimental acompanha a run-alvo. Use o número apenas como evidência daquele projeto e data, não como preço atual.

Categorias não compute incluem aquisição e governança de dados, deduplicação, filtragem, storage, transferência, réplicas de checkpoints, evaluation infrastructure, observabilidade, segurança e engenharia. Opportunity cost importa quando capacidade escassa atrasa outro trabalho. Contingência deve refletir falha e preemption observadas nos pilotos.

Energia é potência integrada no tempo mais outros equipamentos. Power usage effectiveness inclui refrigeração e overhead. Carbono depende de onde e quando a eletricidade foi gerada; fator global esconde localização. O estudo de carbono do BLOOM de 2022 separa consumo dinâmico de fronteiras de ciclo de vida, lembrando que totais dependem de escopo.

Uma calculadora recebe variáveis, não preço atual hardcoded: parâmetros, tokens, fator arquitetural, peak throughput, faixa de utilização, device count, preço horário datado, retries, storage, equipe e contingência. Saídas incluem device-hours, elapsed time, compute direto, faixa total e sensibilidade. Mudar devices idealmente muda tempo, não device-hours, até a scaling efficiency mudar.

Reconcilie após a run. Compare tokens, utilização, horas, falhas e gasto planejados versus reais. Explique variação e atualize o próximo budget. Modelo de custo nunca reconciliado é aritmética de marketing.

A lição durável é disciplina contábil. FLOPs estimam trabalho; utilização mapeia trabalho a tempo; preço mapeia tempo a dinheiro; escopo adiciona o necessário para executar; impacto ambiental soma energia e emissões. Todo headline só tem sentido com data, hipóteses e fronteira.