- Exécuteurs
-
Apprendre
Apprendre Python Exemples exécutables, NumPy, pandas et plus Apprendre l'IA / Machine LearningRéseaux de neurones, ML et LLM de zéro Apprendre le C et le C++ Pointeurs, mémoire, STL et C++ moderne Apprendre le C#Bases, POO, LINQ, async et exercices .NET Apprendre MatplotlibCourbes, barres, nuages de points et camemberts avec visualiseurs Apprendre RustOwnership, traits, gestion des erreurs et threads Apprendre GoSlices, interfaces, goroutines et channels Algorithmes Python Recherche, tri, récursivité et visualisations O(n) Algorithmes C et C++ Comparer les implémentations en C et C++ Programmation pour enfants Apprends à coder en jouant !
- QuizNouveau
- DéfisNouveau
- EnseignantsNouveau
- Mises à Jour
- Offrez-moi un café
Quiz AI & Machine Learning : Tokenisation et embeddings
Avant qu'un modèle de langage puisse lire quoi que ce soit, le texte est découpé en tokens et chaque token est associé à un vecteur. Ce quiz vérifie comment fonctionnent les tokenizers en sous-mots comme BPE, ce que sont les embeddings (représentations vectorielles) et pourquoi ils expliquent certains comportements surprenants des LLM.
Exemple de question
Question 1 sur 10Pourquoi la plupart des modèles de langage modernes utilisent-ils une tokenisation en sous-mots plutôt qu'un token par mot entier ?
Voir la réponse
B. Un vocabulaire de taille fixe peut quand même représenter des mots rares ou inédits en les découpant en morceaux connus Un vocabulaire de mots entiers serait énorme et raterait quand même les mots nouveaux, les fautes de frappe et les noms propres. Les sous-mots gardent un vocabulaire raisonnable : les mots courants restent un seul token tandis que les mots rares se découpent en morceaux comme token + ization.
Ce que couvre ce quiz
- Pourquoi la tokenisation en sous-mots bat les mots entiers et les caractères isolés
- Comment le byte pair encoding (BPE) construit son vocabulaire
- Les embeddings, vecteurs denses appris, et la similarité cosinus
- Embeddings statiques ou contextuels
- Les bizarreries des tokens, comme compter des lettres ou traiter un texte non anglais
Questions fréquentes
Faut-il un compte ?
Non. Tout le monde peut jouer. Connectez-vous pour garder votre XP, votre série, vos badges et votre historique.
Puis-je le refaire ?
Oui. Votre meilleur score est conservé, et les questions comme les réponses sont mélangées à chaque fois.