Pretraining em Escala

advanced · 13 aulas disponíveis

Pretraining em Escala

Projete os objetivos, os dados, a otimização, o paralelismo e o modelo de custos de um treinamento sério de um modelo de linguagem.

1. Objetivos: causal LM, MLM, span corruption e FIM
2. Dados: origem, filtragem, deduplicação e decontamination
3. Treinando seu próprio tokenizer
4. Scaling laws I: Kaplan
5. Scaling laws II: Chinchilla e compute-optimality
6. Scaling laws III: inference-aware e over-training
7. Data parallelism, ZeRO e FSDP
8. Tensor, pipeline e sequence parallelism
9. Mixed precision: fp16, bf16 e fp8
10. Gradient checkpointing e matemática de memória
11. Learning-rate schedules e warmup
12. Quando o treinamento falha: spikes, divergence e NaNs
13. Quanto custa um pretraining real