AI & Machine Learning Quiz: Tokenization & Embeddings

Before a language model can read anything, text is split into tokens and each token is mapped to a vector. This quiz checks how subword tokenizers like BPE work, what embeddings are and why they explain some surprising LLM behaviour.

मीडियम 10 सवाल ~6 मिनट पास होने के लिए 80%

मोड चुनें

आप गेस्ट के तौर पर खेल रहे हैं: XP और streak सेव रखने के लिए साइन इन करें।

सैंपल सवाल

सवाल 1 / 10

Why do most modern language models use subword tokenization instead of one token per whole word?

जवाब दिखाएं

B. A fixed-size vocabulary can still represent rare and unseen words by splitting them into known pieces A whole-word vocabulary would be huge and still miss new words, typos and names. Subwords keep the vocabulary manageable: common words stay one token while rare ones split into pieces like token + ization.

इस क्विज़ में क्या है

  • Why subword tokenization beats whole words and single characters
  • How byte pair encoding (BPE) builds its vocabulary
  • Embeddings as learned dense vectors and cosine similarity
  • Static vs contextual embeddings
  • Token quirks such as letter counting and non-English text

अक्सर पूछे जाने वाले सवाल

क्या अकाउंट ज़रूरी है?

नहीं। कोई भी खेल सकता है। XP, streak, badge और हिस्ट्री सेव रखने के लिए साइन इन करें।

क्या मैं इसे दोबारा दे सकता हूं?

हां। आपका बेस्ट स्कोर सेव रहता है, और हर बार सवाल और जवाब शफ़ल होते हैं।