ควิซ AI & Machine Learning: Tokenization & Embeddings

Before a language model can read anything, text is split into tokens and each token is mapped to a vector. This quiz checks how subword tokenizers like BPE work, what embeddings are and why they explain some surprising LLM behaviour.

ปานกลาง 10 ข้อ ~6 นาที ผ่านที่ 80%

เลือกโหมด

กำลังเล่นแบบผู้เยี่ยมชม: เข้าสู่ระบบเพื่อเก็บ XP และ streak

ตัวอย่างคำถาม

ข้อ 1 จาก 10

Why do most modern language models use subword tokenization instead of one token per whole word?

ดูเฉลย

B. A fixed-size vocabulary can still represent rare and unseen words by splitting them into known pieces A whole-word vocabulary would be huge and still miss new words, typos and names. Subwords keep the vocabulary manageable: common words stay one token while rare ones split into pieces like token + ization.

ควิซนี้มีเนื้อหาอะไรบ้าง

  • Why subword tokenization beats whole words and single characters
  • How byte pair encoding (BPE) builds its vocabulary
  • Embeddings as learned dense vectors and cosine similarity
  • Static vs contextual embeddings
  • Token quirks such as letter counting and non-English text

คำถามที่พบบ่อย

ต้องมีบัญชีไหม?

ไม่ต้อง ใครก็เล่นได้ เข้าสู่ระบบเพื่อเก็บ XP, streak, เหรียญตรา และประวัติ

ทำซ้ำได้ไหม?

ได้ ระบบเก็บคะแนนที่ดีที่สุดไว้ และสลับคำถามกับตัวเลือกใหม่ทุกครั้ง