Modelos de reasoning: test-time compute e CoT longo

1

Conceito

Scaling tradicional gasta mais compute antes do deploy: treina um modelo maior em mais dados. Test-time compute gasta computação adicional depois do treinamento, no problema específico que está sendo respondido. O sistema pode gerar mais tokens, amostrar várias soluções, buscar numa árvore, usar ferramentas, criticar o trabalho intermediário ou executar verificadores. Surge outro eixo de escala: às vezes a qualidade cresce ao pensar por mais tempo sem trocar o checkpoint.

O padrão mais simples é best-of-$N$. Gere $N$ respostas candidatas e escolha uma com reward model, checker exato ou outro scorer. Amostras diversas exploram abordagens diferentes. O seletor é decisivo: se ele não reconhece corretude, mais candidatas produzem mais erros persuasivos. Amostras correlacionadas também limitam o ganho; dez chains quase idênticos não representam dez tentativas independentes.

Métodos sequenciais dão mais etapas a uma trajetória. O modelo propõe um plano, executa uma parte, encontra uma contradição, volta e revisa. Métodos de busca abrem ramos e alocam compute nos estados promissores. Sistemas com ferramentas gastam compute em retrieval, execução de código ou solvers simbólicos. Esses mecanismos diferem, portanto “reasoning tokens” não são um algoritmo universal.

Chain-of-thought (CoT) longo é um trace textual intermediário. Ele ajuda ao decompor problemas e manter memória de trabalho no contexto. Pós-treinamento com rewards verificáveis pode tornar traces extensos mais úteis porque estratégias bem-sucedidas recebem reforço sem um caminho escrito por humanos. Ainda assim, o trace é texto gerado. Pode racionalizar um palpite, esconder uma etapa inválida ou repetir o mesmo erro com fluência.

Comprimento do trace é custo, não métrica de qualidade. Um problema pode exigir uma observação decisiva, não páginas de álgebra. Tokens extras aumentam latência e ocupam contexto; múltiplas candidatas aumentam batch e pressão de memória. Uma política adaptativa deve gastar pouco nos casos fáceis e escalar quando incerteza ou valor esperado justificarem.

O trabalho de Snell e colegas, publicado em 2024, formalizou essa perspectiva de alocação: estratégias e budgets distintos podem ser combinados à dificuldade, e o compute deve ir aonde produz benefício. Isso não promete que scaling de inferência sempre supera um modelo maior. O resultado depende do modelo, tarefa, diversidade das propostas, verificador e definição do orçamento.

Process supervision e outcome supervision criam sinais diferentes. Checagens do resultado recompensam a resposta final e permitem descobrir estratégias, mas aceitam palpites sortudos. Checagens do processo localizam erros, porém custam caro e podem impor um estilo. Sistemas híbridos verificam etapas formais quando possível e avaliam o resultado de forma independente.

A avaliação precisa relacionar accuracy e compute. Plote sucesso contra tokens, latência, energia e custo. Separe qualidade da proposta e do seletor medindo se alguma candidata estava correta e se ela foi escolhida. Teste paráfrases e distratores adversariais. Caso contrário, o sistema pode parecer melhor apenas porque a avaliação vazou padrões reconhecíveis.

Modelos de reasoning também mudam serving. Requisições variam em duração, comprimento e ramificação. Batches estáticos ficam ineficientes; schedulers precisam de cancelamento, prioridade e teto de orçamento. Um trace sem fim vira custo e vetor de denial of service. A política do produto decide quando parar, perguntar ou usar ferramenta confiável.

O modelo mental é alocação de compute sob incerteza. Mais trabalho cria oportunidades de busca e verificação; não cria verdade por si só. O mecanismo de proposta explora, o verificador discrimina e o scheduler decide quanto a resposta vale. CoT longo é um possível espaço de trabalho, não a definição de reasoning.