Scaling laws I: Kaplan

1

Conceito

Treinar um modelo de fronteira só para descobrir se a configuração era sensata é caro demais. Scaling laws usam famílias de experimentos menores para estimar como held-out loss muda com parâmetros, dados e compute. A observação marcante é que as relações podem ser suaves por grandes intervalos, apesar da complexidade das redes.

Uma forma comum é power law mais termo irredutível:

$x$ pode ser parâmetros sem embedding, tamanho do dataset ou compute. Em eixos log-log, a parte redutível fica aproximadamente linear, tornando o expoente $\alpha$ visível como slope. $\alpha$ maior significa queda mais rápida de loss ao ampliar o recurso. A curva resume runs observadas; não explica todos os mecanismos.

Kaplan e colaboradores treinaram muitos Transformers autoregressivos e estudaram loss em função de modelo, dados e compute. A análise destacou que desempenho era limitado pelo recurso escasso: parâmetros não compensam indefinidamente falta de dados, e tokens não compensam para sempre um modelo minúsculo.

Sob orçamento fixo, é preciso escolher um tradeoff. Modelo maior gasta mais por token e vê menos tokens. Modelo menor processa mais texto, mas tem menos capacidade. O ótimo ajustado na era Kaplan favorecia crescer o modelo rapidamente e encerrar o treinamento antes de muitas passagens. Essa recomendação influenciou planejamento de modelos grandes.

Compute de Transformer denso é frequentemente aproximado como parâmetros vezes tokens. Uma estimativa comum é $C\approx6ND$ FLOPs para $N$ parâmetros sem embedding e $D$ tokens, mas a constante depende do que é contado e da arquitetura. FLOPs não são tempo: utilização, comunicação, data loading, recomputação e falhas determinam duração.

Bom trabalho de scaling separa interpolação de extrapolação. Ajuste em algumas runs, segure outras e verifique erro de previsão antes de confiar além do intervalo. Plote resíduos, não apenas uma reta bonita. Pequeno desvio sistemático fica caro ao atravessar ordens de grandeza.

Loss não é o produto inteiro. Modelos com validation loss parecida diferem em tarefas downstream, calibração, safety, cobertura multilíngue, latency e memória. Thresholds aparentemente emergentes podem surgir quando uma capacidade suave cruza a regra de pontuação. A curva guia alocação; não substitui avaliação.

Qualidade de dados complica o eixo $D$. Um token não é unidade padrão de informação. Boilerplate repetido, texto ruim e domínio valioso contam igualmente, mas contribuem de formas distintas. Tamanho efetivo depende de duplicação e mixture. Experimentos precisam manter o pipeline estável ou modelar a mudança.

O workflow prático escolhe vários tamanhos e budgets de tokens, mantém receitas comparáveis, reserva validação, registra compute realizado, ajusta formas concorrentes, valida em runs separadas, quantifica incerteza e seleciona o próximo experimento. Refaça o fit quando dados ou arquitetura mudarem.

O insight durável é previsibilidade com fronteiras. Loss pode seguir tendências suaves e tornar ciência empírica útil para decisões enormes. A lição igualmente importante é humildade: a curva descreve um regime. A próxima aula mostra como outro desenho experimental mudou a alocação recomendada.