Cerebras e wafer scale

01 · Conceito

Conceito

A lição 9.1 terminou num número desconfortável. Para um caminho de batch um medido, o roofline de bandwidth é

com $B$ a memory bandwidth e $W$ os bytes reais lidos por token. Usando o checkpoint completo de 54 GB como proxy declarado, e os 3,35 TB/s de HBM3 informados de uma H100 SXM dão aproximadamente 60 tokens por segundo como estimativa simples pelo tamanho do checkpoint. Toda lição seguinte desta track aceitou essa estrutura e discutiu o numerador ou o denominador. Esta lição é sobre um design que ataca o numerador B ao mudar a tecnologia de memória.

A razão de a bandwidth de HBM estar onde está se resume a onde a memória fica. A high-bandwidth memory é DRAM empilhada ao lado do die do processador e alcançada através de um interposer — imensamente melhor que um DIMM soquetado, mas ainda uma interface fora do die com um número finito de fios rodando a uma taxa finita. A SRAM, a memória usada em caches on-chip, fica no mesmo silício das unidades aritméticas e é alcançada sem sair do die. Sua bandwidth é ordens de grandeza maior, e sua capacidade por unidade de área de silício é ordens de grandeza menor. Essa única troca é a história inteira de toda hierarquia de cache já construída: uma camada pequena e rápida na frente de uma grande e lenta, com uma taxa de acerto decidindo qual delas você de fato sente.

O processamento em wafer scale leva a troca ao seu extremo lógico. Em vez de cortar um wafer em centenas de chips separados, o wafer inteiro é fabricado como um único dispositivo, ladrilhado com um número muito grande de núcleos pequenos, cada um carregando sua própria SRAM local, conectados por um fabric no wafer. A Cerebras descreve essa arquitetura e o serviço de inferência construído sobre ela em suas páginas de produto e de documentação. A consequência para o decode de modelos de linguagem é direta: se os pesos do modelo estão distribuídos por essa SRAM no wafer, a leitura de pesos por token nunca toca uma interface de HBM, e o numerador B do roofline da lição 9.1 é substituído por algo muito maior.

Quanto maior? Em vez de citar um número de bandwidth e pedir que você confie nele, inverta a fórmula e transforme uma alegação pública de throughput numa exigência de bandwidth. Fabricantes nesse espaço anunciam taxas acima de mil tokens por segundo em modelos grandes. Tome um cenário declarado em que 54 GB estejam ativos por token:

Cinquenta e quatro terabytes por segundo — cerca de dezesseis vezes o número de HBM3 de uma H100. Usando o tamanho de 17,1 GB do arquivo Q4_K_M fixado apenas como proxy a exigência afrouxa, mas continua severa:

Ainda cerca de cinco vezes a HBM3, mas apenas como teste de sanidade pelo tamanho do artefato; bytes ativos exatos exigem profiling. Esta é a disciplina útil: uma alegação de throughput implica uma bandwidth, e você pode checar se a bandwidth implícita é plausível para a tecnologia de memória em questão. A partir de DRAM empilhada essas taxas não são meramente difíceis, elas estão fora da física da interface. A partir de SRAM no wafer elas são dimensionalmente consistentes. Isso não as torna verdadeiras — torna-as o tipo de alegação que vale investigar em vez de descartar.

Agora o desvio errado, que é a razão pela qual esta lição fica antes do capítulo final sobre custo, e não depois. Um leitor calcula que um sistema wafer-scale é aproximadamente dezesseis vezes mais rápido por fluxo que uma GPU e conclui que ele deve, portanto, ser aproximadamente dezesseis vezes mais barato por token. Há dois erros empilhados ali. O primeiro é tratar um limite de roofline como previsão de throughput: B/W só é limite superior quando W é o tráfego ativo real, e as taxas atingidas dependem da eficiência dos kernels, da qualidade do compilador, do comportamento do fabric sob o dataflow real do modelo, e de se cada operador — inclusive as camadas de Gated DeltaNet deste modelo — mapeia para o hardware afinal. O segundo erro é comparar a quantidade errada. Ninguém serve uma GPU de produção em batch um. A lição 7.3 mostrou que o batching amortiza a leitura de pesos entre muitas sequências concorrentes, então o throughput agregado de uma GPU sobe muito acima do teto de fluxo único enquanto cada usuário ainda vê aproximadamente a latência de fluxo único. O produto da GPU é throughput por dólar; o produto do wafer é latência por fluxo. São bens diferentes, e a lição 9.10 vai mostrar que o custo por token é fixado pelo custo de sistema por segundo dividido pelos tokens por segundo, nunca por uma razão de velocidade sozinha.

A conclusão durável é um método, não um veredito sobre um fabricante. A barreira de bandwidth da lição 9.1 não é uma lei sobre GPUs, é uma lei sobre a razão entre taxa de fornecimento e bytes movidos — e qualquer arquitetura que mude onde os pesos fisicamente ficam muda essa razão. Wafer scale é uma dessas arquiteturas; quantização é outra, reduzindo o denominador W; o layout híbrido de Gated DeltaNet da lição 4.16 reduz o tráfego crescente de histórico KV em contexto longo, não o termo de pesos do modelo. O custo decide qual delas você pode pagar, e essa é a última lição do curso.