AI & Machine Learning-Quiz: Tokenization & Embeddings

Before a language model can read anything, text is split into tokens and each token is mapped to a vector. This quiz checks how subword tokenizers like BPE work, what embeddings are and why they explain some surprising LLM behaviour.

Mittel 10 Fragen ~6 Minuten Bestanden ab 80%

Modus wählen

Du spielst als Gast: Melde dich an, damit XP und Serie gespeichert werden.

Beispielfrage

Frage 1 von 10

Why do most modern language models use subword tokenization instead of one token per whole word?

Lösung zeigen

B. A fixed-size vocabulary can still represent rare and unseen words by splitting them into known pieces A whole-word vocabulary would be huge and still miss new words, typos and names. Subwords keep the vocabulary manageable: common words stay one token while rare ones split into pieces like token + ization.

Darum geht es in diesem Quiz

  • Why subword tokenization beats whole words and single characters
  • How byte pair encoding (BPE) builds its vocabulary
  • Embeddings as learned dense vectors and cosine similarity
  • Static vs contextual embeddings
  • Token quirks such as letter counting and non-English text

Häufige Fragen

Brauche ich ein Konto?

Nein. Jeder kann spielen. Mit Anmeldung werden XP, Serie, Abzeichen und Verlauf gespeichert.

Kann ich es wiederholen?

Ja. Dein Bestwert bleibt erhalten, und Fragen und Antworten werden jedes Mal neu gemischt.