- Executores
-
Aprender
Aprender Python Exemplos executáveis, NumPy, pandas e mais Aprender IA / Machine LearningRedes neurais, ML e LLMs do zero Aprender C e C++ Ponteiros, memória, STL e C++ moderno Aprender C#Fundamentos, POO, LINQ, async e exercícios .NET Aprender MatplotlibGráficos de linha, barras, dispersão e pizza com visualizadores Aprender RustOwnership, traits, tratamento de erros e threads Aprender GoSlices, interfaces, goroutines e channels Algoritmos em Python Busca, ordenação, recursão e visualizações O(n) Algoritmos em C e C++ Compare implementações em C e C++ Programação para crianças Aprenda a programar brincando!
- QuizzesNovo
- DesafiosNovo
- Para professoresNovo
- Atualizações
- Me pague um café
Quiz de AI & Machine Learning: Tokenization & Embeddings
Before a language model can read anything, text is split into tokens and each token is mapped to a vector. This quiz checks how subword tokenizers like BPE work, what embeddings are and why they explain some surprising LLM behaviour.
Pergunta de exemplo
Pergunta 1 de 10Why do most modern language models use subword tokenization instead of one token per whole word?
Mostrar a resposta
B. A fixed-size vocabulary can still represent rare and unseen words by splitting them into known pieces A whole-word vocabulary would be huge and still miss new words, typos and names. Subwords keep the vocabulary manageable: common words stay one token while rare ones split into pieces like token + ization.
O que este quiz cobre
- Why subword tokenization beats whole words and single characters
- How byte pair encoding (BPE) builds its vocabulary
- Embeddings as learned dense vectors and cosine similarity
- Static vs contextual embeddings
- Token quirks such as letter counting and non-English text
Perguntas frequentes
Preciso de uma conta?
Não. Qualquer pessoa pode jogar. Entre para guardar seu XP, sequência, badges e histórico.
Posso refazer?
Pode. Sua melhor nota fica salva, e as perguntas e respostas são embaralhadas a cada vez.