Trilha de aprendizagem
Do texto aos tensores
Veja como o texto se transforma em tokens, vetores e estruturas numéricas que uma rede neural consegue processar.
foundations · 7 aulas disponíveis
Do texto aos tensores
Veja como o texto se transforma em tokens, vetores e estruturas numéricas que uma rede neural consegue processar.
- Por que computadores não sabem ler
- Tokenização I: caracteres, palavras e subwords
- Tokenização II: BPE, passo a passo
- Tokenização III: SentencePiece, byte-level e o impacto da contagem
- Embeddings: significado como geometria
- word2vec, GloVe e o truque das analogias
- Entropia, perplexidade e o que significa 'bom'