Modelos de raciocínio: computação em tempo de teste e long CoT

01 · Conceito

Conceito

Três fatos sobre o Qwen3.8-27B, tirados direto do seu model card, contêm quase tudo o que esta lição tem a ensinar. Thinking mode é o padrão. Ele tem preset de sampling próprio — temperature 1,0, top_p 0,95, top_k 20 — enquanto instruct mode usa temperature 0,7, top_p 0,80, top_k 20. E quem chama pode desligar o segmento de thinking por requisição colocando enable_thinking em False. A computação em tempo de teste deixou de ser técnica de pesquisa e virou uma superfície de produto entregue, com padrão, configuração e chave de desligamento. Cada uma dessas três decisões é defensável, e cada uma custa algo.

A dobra extra é que “thinking mode” não é uma configuração portável única. No template aberto fixado da Qwen, enable_thinking vem ligado por padrão, reasoning_effort ausente renderiza a mesma instrução dedicada de xhigh, low e xhigh têm suas próprias instruções de esforço, medium é aceito mas não injeta uma instrução medium dedicada, e high é rejeitado. preserve_thinking também preserva por padrão o raciocínio anterior na conversa renderizada, enquanto enable_thinking=false suprime o segmento de thinking de forma limpa. Essas são semânticas de template, não semânticas universais de todo serviço hospedado de Qwen. Se um benchmark diz apenas “Qwen3.8-27B, reasoning medium”, ele ainda não descreveu o experimento.

Comece pelo eixo em si. O scaling tradicional gasta computação antes do deploy: treinar um modelo maior com mais dados. A computação em tempo de teste gasta depois, no problema específico à frente do sistema — mais tokens, várias soluções amostradas, uma busca em árvore, chamadas de ferramenta, autocrítica, verificadores. A qualidade às vezes melhora sem tocar no checkpoint. O trabalho de 2024 de Snell e colegas enquadrou isso como um problema de alocação: estratégias e orçamentos diferentes servem a dificuldades diferentes de problema, e a computação deve ir onde ela paga. Isso é uma afirmação sobre alocação, não uma promessa de que escalar inferência sempre bate um modelo maior.

O padrão mais simples é o best-of-$N$: gerar $N$ candidatos e selecionar um com um reward model, um verificador exato ou outro pontuador. O selecionador é decisivo — se ele não reconhece correção, mais candidatos apenas produzem erros mais persuasivos. Amostras correlacionadas também limitam os ganhos: dez cadeias quase idênticas não são dez tentativas. Métodos sequenciais gastam o orçamento de outro jeito, deixando uma trajetória propor um plano, executar parte dele, detectar uma contradição, voltar atrás e revisar. Sistemas com ferramentas gastam em recuperação, execução de código ou solucionadores simbólicos. “Tokens de raciocínio” não é um algoritmo só.

Agora a pergunta que os presets levantam. Por que um fabricante amostraria o traço de raciocínio mais quente que a resposta final? A intuição que a maioria traz é que o raciocínio é a parte delicada, então deveria ser a parte conservadora. Isso lê a situação de trás para a frente, e passar pela aritmética mostra por quê.

A temperature reescala os logits antes da softmax. Tome duas continuações candidatas em algum passo, com logits 4,0 e 3,0 — um lance óbvio e uma alternativa plausível. Considerando apenas essas duas, com temperature 0.7 o intervalo de 1,0 é dividido por 0,7 e vira cerca de 1,43 em unidades de logit, então a razão de chances é $e^{1.43}\approx 4.17$ e a alternativa fica com cerca de 19 por cento da massa. Com temperature 1.0 o intervalo continua 1,0, a razão de chances é $e^{1.0}\approx 2.72$, e a alternativa sobe para cerca de 27 por cento. Isso é um aumento relativo de aproximadamente 39 por cento na chance de explorar o segundo ramo, vindo de uma mudança que parece pequena no botão.

Num traço de raciocínio, esses 8 pontos extras de probabilidade são o produto inteiro. O traço é uma busca, e uma busca que sempre toma o passo modal não está buscando. Mais importante, um erro dentro de um traço é recuperável: o modelo lê os próprios tokens anteriores, e uma virada errada no passo quatro pode ser contradita no passo nove, com a resposta final condicionada na sequência inteira já corrigida. Um erro na resposta final não tem reparo posterior. Nada vem depois dele. Então o fabricante empurra a temperature para cima exatamente onde erros são baratos e a puxa para baixo onde eles são terminais. Esse é o princípio, e ele generaliza muito além deste modelo.

Um detalhe impede que temperature 1.0 seja imprudente: os dois presets mantêm top_k em 20. De um vocabulário de 248.320 linhas, apenas vinte candidatos são elegíveis em qualquer passo, e o top_p apara ainda mais — para 0.95 no thinking mode, 0.80 no instruct. Elevar a temperature redistribui massa dentro de uma lista curta truncada com dureza; não abre a cauda. Thinking mode não é sampling permissivo, é uma distribuição um pouco mais achatada sobre um conjunto muito pequeno.

O que prepara o desvio clássico. Um time quer acurácia e reprodutibilidade máximas, então faz o decoding do segmento de thinking de forma gulosa, com temperature 0. Duas coisas quebram. Primeira, traços gulosos longos são propensos a laços de repetição e a se comprometer irreversivelmente com o primeiro ramo, que é precisamente o modo de falha que um traço existe para evitar. Segunda — e esta é fatal — se eles empilham best-of-8 por cima para ganhar acurácia, as oito amostras são byte a byte idênticas. Eles pagam oito vezes os tokens por uma resposta. A lição 6.8 mostrou o gêmeo disso no lado do treino: um grupo de GRPO em que toda amostra ganha a mesma recompensa tem variância zero e não produz gradiente. Diversidade não é efeito colateral do sampling em nenhum dos dois regimes; é o recurso que está sendo gasto. A correção é usar o preset publicado do modo que você está rodando e introduzir determinismo, se precisar dele, por uma seed fixa em vez de por uma distribuição colapsada.

Chain-of-thought longo é a bancada que essa computação compra: um traço textual intermediário que decompõe um problema e deixa memória de trabalho no contexto. Post-training sobre recompensas verificáveis torna traços estendidos mais úteis, porque estratégias bem-sucedidas são reforçadas sem ninguém escrever o caminho. Mas o traço ainda é texto gerado. Ele pode racionalizar um palpite, esconder um passo inválido ou se repetir com fluência perfeita. Comprimento de traço é um custo, não uma métrica de qualidade.

A evidência que a Qwen oferece para o modo é um escore informado de GPQA Diamond de 89,2 — informado pelo fabricante, vindo do model card, e aguardando reprodução independente. É um benchmark de ciência em nível de pós-graduação exatamente do tipo em que raciocínio estendido deveria pagar, o que faz dele um lugar razoável para procurar o valor do modo e um péssimo lugar para parar de procurar. Sem relatório técnico, sem uma execução independente e sem conhecer o harness, um número isolado estabelece uma afirmação, não um fato.

Um estudo independente de deployment do Qwen3.8-27B torna concreto o problema do ponto de operação. Num hard pack de 50 questões com teto de 4.096 tokens, thinking off marcou 68 por cento com um truncamento, low marcou 94 por cento sem truncamentos, e xhigh marcou 88 por cento com cinco truncamentos. Olhando apenas as respostas xhigh que de fato terminaram, foram 44 de 45; a comparação pareada não sustentou o slogan “low é mais inteligente que xhigh” (McNemar p = 0,25). A leitura melhor é mais estreita: sob aquele orçamento fixo de saída, low terminou o trabalho e xhigh muitas vezes ficou sem página. Em prompts fáceis na mesma campanha, thinking off teve latência p50 por volta de 0,93 s, enquanto low, unset/default e xhigh se agruparam em torno de 8,35-8,51 s. E preservar cerca de 50.000 caracteres de raciocínio antigo inflou um prompt posterior para 23.654 tokens contra 55 tokens com preservação desligada. Esses são fatos de serving, não mudanças nos pesos.

A chave de desligamento é tanto alavanca de custo quanto de comportamento. Tokens de thinking são tokens de saída, e tokens de saída são os caros — no Cloudflare Workers AI este modelo é cobrado a USD 3,20 por milhão de tokens de saída contra USD 0,45 por milhão de tokens de entrada, segundo os preços de agosto de 2026. Um segmento de thinking que roda vários milhares de tokens antes de uma resposta de duzentos tokens inverte a economia de um pedido simples. Tokens de thinking também ocupam o KV cache nos 64 KiB por token derivados na lição 7.2, e estendem a ocupação do slot de serving pela requisição. Colocar enable_thinking em False em trabalho rotineiro não é um rebaixamento; é gastar o orçamento onde ele rende algo.

Servir cargas de raciocínio também muda o quadro operacional. As durações de requisição ficam altamente variáveis, os comprimentos de saída imprevisíveis e a ramificação desigual. Batching estático fica ineficiente, e os escalonadores precisam de cancelamento, prioridades e tetos rígidos de orçamento — um traço desgovernado é ao mesmo tempo um incidente de custo e um vetor de negação de serviço. A avaliação também precisa mudar: plote sucesso contra tokens gerados, latência e dinheiro; separe qualidade de proposta de qualidade de seleção perguntando se algum candidato estava certo e se o selecionador o escolheu; e teste robustez a prompts reformulados e a distratores adversariais, ou um sistema vai parecer raciocinar melhor quando apenas reconheceu um padrão no seu benchmark.

O modelo durável é alocação de computação sob incerteza. Trabalho extra de inferência cria oportunidades de buscar e de verificar; ele não fabrica verdade. O mecanismo de proposta explora, o verificador discrimina, o escalonador decide quanto a resposta vale — e chain-of-thought longo é uma bancada possível dentro desse sistema, não a definição de raciocínio.