Qualcomm Hexagon e a edge

01 · Conceito

Conceito

Um gerente de produto faz a única pergunta que importa para um roadmap mobile: dá para embarcar o Qwen3.8-27B no aplicativo, de modo que ele rode no celular sem ida e volta pela rede? Esta lição responde que não, e a razão pela qual a resposta merece uma lição inteira é que chegar a um não bem fundamentado é um resultado de engenharia. A maior parte das decepções na edge vem de times que nunca fizeram essa aritmética e descobriram o teto três meses adentro de uma integração.

Comece pelo orçamento de memória, que não é o número da ficha técnica. Um aparelho topo de linha atual vem com algo na região de 12 a 16 GB de DRAM, mas um aplicativo não é dono dessa máquina. O sistema operacional, o compositor, a stack da câmera e todo aplicativo em segundo plano dividem isso, e o SO recupera memória de aplicativos em primeiro plano sob pressão. Um orçamento sustentado realista para os pesos de modelo de um aplicativo é de alguns gigabytes — tome 3 GB como hipótese de trabalho declarada para o resto desta lição, e ajuste-a para a sua própria plataforma. Agora traga a escada da lição 7.9 e os tamanhos de artefato da lição 7.12:

O desvio errado clássico chega de imediato: quantizar com mais força. Dois bits em vez de quatro, certamente, corta pela metade e traz para dentro. Faça a aritmética em vez da torcida:

antes das escalas de grupo e dos tensores de precisão mista que a lição 7.10 mostrou sempre virem junto, e portanto ainda mais que o dobro do orçamento. O movimento falha no tamanho, e falha com mais força na qualidade — a curva de degradação da lição 7.9 é suave de 16 para 8 para 4 bits e íngreme abaixo disso. Leve a lógica à sua conclusão e ela vira absurdo: encaixar 27 bilhões de parâmetros em 3 GB exige

menos de um bit por parâmetro, o que não é uma configuração de quantização e sim um programa de pesquisa.

Resolva a equação no outro sentido e ela vira um briefing de projeto. A 4 bits, um orçamento de 3 GB de pesos comporta cerca de 6 bilhões de parâmetros, e isso antes do KV cache, do workspace do runtime e do tokenizer. Não reutilize aqui os 64 KiB por token da lição 7.2: esse valor pertence às 16 camadas com cache do Qwen3.8-27B. Para o modelo escolhido de 3 a 4 bilhões de parâmetros, derive os bytes de KV como camadas vezes KV heads vezes dimensão de cabeça vezes dois tensors vezes bytes por elemento, e só então multiplique por 8.192 tokens. Um alvo sóbrio é, portanto, um modelo na faixa de 3 a 4 bilhões de parâmetros, que é precisamente o que a lição 6.11 constrói: um irmão destilado, uma rede genuinamente menor treinada contra as saídas do modelo grande, herdando comportamento em vez de pesos. Quantização reduz bytes por parâmetro e chega a um fundo; destilação reduz a contagem de parâmetros, que é o único termo que atravessa a porta.

A bandwidth confirma o veredito de forma independente, que é a parte tranquilizadora de um resultado negativo — dois argumentos não relacionados concordando. A bandwidth de LPDDR móvel é uma ordem de grandeza abaixo da unified memory de desktop e duas abaixo da HBM de data center; tome 60 GB/s como hipótese declarada de ordem de grandeza, e não como cotação de fabricante. Usando o tamanho do artefato apenas como proxy, a divisão da lição 9.1 dá cerca de 3,5 tokens por segundo para o artefato fixado de 17,1 GB e aproximadamente 30 para um de 2 GB. Mesmo numa fantasia em que o modelo grande coubesse, ele seria inutilizável.

Então o que o silício de fato oferece? A NPU Hexagon da Qualcomm é um acelerador de tendência a função fixa, ajustado para aritmética inteira quantizada em baixa potência, e a documentação para desenvolvedores da Qualcomm a expõe através do AI Engine Direct — a stack QNN — com o AI Hub como caminho de compilação e validação que mira uma família específica de dispositivos. O modelo mental que importa é este: a NPU é rápida e eficiente somente para grafos que ela suporta integralmente. NPUs preferem shapes estáticos, pesos quantizados e um conjunto fixo de operadores. Qualquer coisa fora desse conjunto cai para a CPU ou a GPU, e um grafo que cai para fallback num caminho quente gastou sua vantagem de potência mantendo o custo de integração. O Qwen3.8-27B é uma arquitetura híbrida cujas camadas de Gated DeltaNet são novas; cobertura de kernels do fabricante para operadores recém-lançados chega em releases específicas de toolchain, exatamente como a lição 7.12 alertou sobre runtimes locais. Verifique a cobertura de operadores no seu dispositivo alvo antes de se comprometer com uma arquitetura, não depois.

A lição durável é o formato da resposta. O dimensionamento produziu um não limpo e defensável, e o não apontou diretamente para o sim certo: implantação híbrida, em que um modelo pequeno destilado cuida do trabalho sensível a latência e offline na NPU Hexagon, e o 27B é chamado pela rede quando a tarefa genuinamente precisa dele. Essa divisão é uma decisão de custo e confiabilidade tanto quanto técnica, e a lição 9.10 lhe dá um preço.