- Esecutori
-
Impara
Impara Python Esempi eseguibili, NumPy, pandas e altro Impara l'IA / Machine LearningReti neurali, ML e LLM da zero Impara C e C++ Puntatori, memoria, STL e C++ moderno Impara C#Fondamenti, OOP, LINQ, async ed esercizi .NET Impara MatplotlibGrafici a linee, barre, dispersione e torta con visualizzatori Impara RustOwnership, trait, gestione degli errori e thread Impara GoSlice, interfacce, goroutine e canali Algoritmi Python Ricerca, ordinamento, ricorsione e visualizzazioni O(n) Algoritmi C e C++ Confronta le implementazioni in C e C++ Programmazione per bambini Impara a programmare giocando!
- QuizNuovo
- SfideNuovo
- Per docentiNuovo
- Aggiornamenti
- Offrimi un caffè
Quiz di AI & Machine Learning: Tokenization & Embeddings
Before a language model can read anything, text is split into tokens and each token is mapped to a vector. This quiz checks how subword tokenizers like BPE work, what embeddings are and why they explain some surprising LLM behaviour.
Domanda di esempio
Domanda 1 di 10Why do most modern language models use subword tokenization instead of one token per whole word?
Mostra la risposta
B. A fixed-size vocabulary can still represent rare and unseen words by splitting them into known pieces A whole-word vocabulary would be huge and still miss new words, typos and names. Subwords keep the vocabulary manageable: common words stay one token while rare ones split into pieces like token + ization.
Cosa copre questo quiz
- Why subword tokenization beats whole words and single characters
- How byte pair encoding (BPE) builds its vocabulary
- Embeddings as learned dense vectors and cosine similarity
- Static vs contextual embeddings
- Token quirks such as letter counting and non-English text
Domande frequenti
Serve un account?
No. Chiunque può giocare. Accedi per salvare XP, serie, badge e cronologia.
Posso rifarlo?
Sì. Il tuo miglior punteggio resta salvato, e domande e risposte vengono mescolate ogni volta.