Pós-treinamento e alinhamento

advanced · 11 aulas disponíveis

Pós-treinamento e alinhamento

Transforme preditores pré-treinados em assistentes úteis por meio de instruction tuning, preferências humanas, reinforcement learning e destilação.

1. Por que modelos base não são assistentes
2. Supervised fine-tuning e dados de instruções
3. LoRA, QLoRA e PEFT
4. Reward models e dados de preferência humana
5. RLHF com PPO
6. DPO: sem o reward model
7. ORPO, KTO, SimPO e o zoológico do alinhamento
8. GRPO e RL com rewards verificáveis
9. Modelos de reasoning: test-time compute e CoT longo
10. Constitutional AI e RLAIF
11. Distillation: modelos pequenos jogando acima do peso