Quantização I: int8, int4 e fundamentos

1

Conceito

Parâmetros de modelos são números reais, normalmente treinados em formatos de ponto flutuante. Quantização mapeia esses valores — ou ativações em runtime — para uma representação discreta menor. O objetivo pode ser arquivo compacto, menor memory bandwidth, batches maiores ou aritmética rápida. O custo é erro de aproximação, metadata e complexidade de kernel.

Na quantização uniforme simétrica, um valor $x$ é aproximado pelo código inteiro $q$ e pela scale $s$:

Quantização affine acrescenta zero point e permite faixa assimétrica. Arredondamento mapeia valores distintos ao mesmo código; clipping leva extremos ao limite. A diferença diante do original é o erro.

“Int8” ou “int4” é informação incompleta. Pergunte o que foi quantizado: pesos, ativações ou KV cache? Em qual granularidade: tensor, canal, grupo de entrada ou token? Scales são float e com que frequência aparecem? A representação é simétrica? Qual dtype acumula produtos? Pesos de quatro bits ainda podem usar ativações e acumuladores de precisão maior.

Granularidade controla uma troca. Uma scale para o tensor inteiro tem pouca metadata, mas cobre a maior magnitude. Um outlier aumenta o passo e representa mal valores pequenos comuns. Scales por canal se adaptam a linhas ou colunas. Quantização groupwise divide uma dimensão. Grupos menores acompanham distribuições locais, mas guardam mais scales e complicam kernels.

Pesos e ativações se comportam de forma distinta. Pesos ficam fixos e aceitam calibração offline. Ativações dependem do prompt e têm outliers por canal. SmoothQuant, publicado em 2022, move parte da dificuldade das ativações para os pesos por uma transformação de escala equivalente, facilitando quantização de ambos em arquiteturas suportadas.

Weight-only quantization reduz bytes de pesos, algo valioso no decode limitado por memória. O kernel desempacota e dequantiza tiles numa dtype de compute. Se o runtime expande o modelo inteiro para float primeiro, o arquivo encolhe, mas memória e bandwidth de execução não. Kernels nativos diferenciam arquivo compacto de inferência eficiente.

Perda de accuracy é desigual. Camadas e canais variam em sensibilidade. Embeddings e output heads podem ficar em outra precisão. Esquemas mistos preservam pesos selecionados. Perplexity é um sinal, mas tarefas, structured output, idiomas, tokens raros e long context revelam falhas que médias escondem.

Calibração escolhe faixas a partir de dados representativos. Um conjunto estreito preserva padrões familiares e falha nos demais. Registre dataset, comprimentos, idiomas, preprocessing, algoritmo e versão. Artefatos quantizados são modelos derivados e precisam de hashes e avaliações próprios.

Uma estimativa simples divide bits por oito e acrescenta scales, zero points, índices, alinhamento e tensores de maior precisão. Runtime ainda precisa de KV cache, ativações, workspace e allocator. Um arquivo que cabe na RAM pode não executar.

O modelo mental é aproximação medida. Códigos discretos economizam movimento; scales reconstroem magnitudes; grupos acompanham estatísticas; acumuladores preservam faixa. Quantização funciona quando o erro cabe na tolerância da tarefa e o hardware consome de verdade a forma compacta.