O Transformer

core · 14 aulas disponíveis

O Transformer

Monte a arquitetura por trás dos LLMs modernos, começando por self-attention e suas operações de query, key e value.

1. Attention Is All You Need em contexto
2. Self-attention desde os primeiros princípios: Q, K e V
3. Scaled dot-product attention e a raiz de d_k
4. Causal masking e por que a ordem importa
5. Multi-head attention
6. Positional encoding I: sinusoidal e aprendido
7. Positional encoding II: RoPE
8. Positional encoding III: ALiBi e relative bias
9. O bloco feed-forward e onde o conhecimento vive
10. Residuals, pre-norm versus post-norm
11. O bloco completo, montado
12. Encoder-only, decoder-only, encoder–decoder
13. Construa um GPT do zero, com anotações
14. Lendo pesos reais: a aparência de um modelo treinado