Quiz AI & Machine Learning : Tokenisation et embeddings

Avant qu'un modèle de langage puisse lire quoi que ce soit, le texte est découpé en tokens et chaque token est associé à un vecteur. Ce quiz vérifie comment fonctionnent les tokenizers en sous-mots comme BPE, ce que sont les embeddings (représentations vectorielles) et pourquoi ils expliquent certains comportements surprenants des LLM.

Moyen 10 questions ~6 minutes Réussi à partir de 80 %

Choisissez un mode

Vous jouez en invité : connectez-vous pour garder votre XP et votre série.

Exemple de question

Question 1 sur 10

Pourquoi la plupart des modèles de langage modernes utilisent-ils une tokenisation en sous-mots plutôt qu'un token par mot entier ?

Voir la réponse

B. Un vocabulaire de taille fixe peut quand même représenter des mots rares ou inédits en les découpant en morceaux connus Un vocabulaire de mots entiers serait énorme et raterait quand même les mots nouveaux, les fautes de frappe et les noms propres. Les sous-mots gardent un vocabulaire raisonnable : les mots courants restent un seul token tandis que les mots rares se découpent en morceaux comme token + ization.

Ce que couvre ce quiz

  • Pourquoi la tokenisation en sous-mots bat les mots entiers et les caractères isolés
  • Comment le byte pair encoding (BPE) construit son vocabulaire
  • Les embeddings, vecteurs denses appris, et la similarité cosinus
  • Embeddings statiques ou contextuels
  • Les bizarreries des tokens, comme compter des lettres ou traiter un texte non anglais

Questions fréquentes

Faut-il un compte ?

Non. Tout le monde peut jouer. Connectez-vous pour garder votre XP, votre série, vos badges et votre historique.

Puis-je le refaire ?

Oui. Votre meilleur score est conservé, et les questions comme les réponses sont mélangées à chaque fois.