LoRA, QLoRA e PEFT

1

Conceito

Full fine-tuning atualiza todo parâmetro treinável do modelo. Isso dá liberdade máxima ao otimizador, mas exige gradientes e estados do otimizador por um checkpoint enorme. Parameter-efficient fine-tuning (PEFT) faz uma pergunta mais precisa: o comportamento específico da tarefa pode ser expresso por um conjunto muito menor de parâmetros treináveis, enquanto o backbone do pretraining fica congelado?

Low-Rank Adaptation, ou LoRA, responde mudando a representação de uma camada linear durante fine-tuning. Seja $W_0\in\mathbb{R}^{d_{out}\times d_{in}}$ o peso congelado. Em vez de atualizar todos os elementos de $W_0$, LoRA aprende

com $A\in\mathbb{R}^{r\times d_{in}}$ e $B\in\mathbb{R}^{d_{out}\times r}$. O rank $r$ escolhido é muito menor que as dimensões de entrada e saída. O forward pass soma a contribuição do adapter à projeção original. Uma escala, normalmente expressa por alpha e rank, controla sua magnitude.

A restrição de baixo rank é um viés indutivo: a adaptação útil talvez ocupe um subespaço menor do que a matriz inteira permite. Não existe garantia de que toda tarefa tenha uma atualização assim. Rank, posição e dados determinam capacidade. Adapters aparecem com frequência nas projeções de attention e, às vezes, nas camadas feed-forward. Alcançar mais módulos ou aumentar o rank amplia a flexibilidade e o estado treinável, mas também consome memória e pode causar overfitting.

LoRA economiza mais que espaço de checkpoint. Pesos congelados não precisam dos momentos do otimizador, e gradientes são mantidos apenas para os parâmetros do adapter. Um deploy pode armazenar um modelo base e vários adapters pequenos. Eles também podem ser fundidos aos pesos para inferência quando os formatos numéricos permitem. Sem fusão, facilitam a troca de tarefas, mas agrupar requisições com adapters distintos traz complexidade operacional.

QLoRA combina LoRA com um backbone congelado e quantizado. Os pesos base ficam numa representação de poucos bits para reduzir memória e são dequantizados numa dtype adequada durante as operações. Os adapters continuam treináveis em precisão mais alta. O paper de QLoRA de 2023 introduziu técnicas específicas como normal-float, double quantization e paged optimizers. A fronteira essencial é esta: armazenamento quantizado não implica gradientes em todo o modelo base nem aritmética exclusivamente inteira.

PEFT é uma família mais ampla. Camadas adapter, prompt tuning, prefix tuning e treinamento seletivo alteram interfaces diferentes. Métodos semelhantes a prompt aprendem vetores contínuos inseridos no contexto ou nas camadas. Adapters acrescentam módulos pequenos. LoRA altera transformações lineares por uma diferença fatorada. A melhor escolha depende do runtime, da latência, da troca multi-tenant e do comportamento a aprender.

PEFT não corrige dados ruins, não evita forgetting automaticamente nem garante paridade com full fine-tuning. Um adapter pequeno pode memorizar um dataset estreito ou degradar capacidades gerais. Em sentido contrário, full fine-tuning pode ser desnecessário e mais difícil de operar. Compare os métodos com os mesmos dados, avaliações e premissas de compute.

O modelo mental prático é uma fundação congelada mais uma superfície aprendida de direcionamento. LoRA expressa essa superfície como atualização de baixo rank. QLoRA torna a fundação mais barata de manter durante o treino ao quantizá-la. O ganho de engenharia nasce da separação entre capacidade compartilhada e mudanças compactas, versionadas e específicas da tarefa.