- Exécuteurs
-
Apprendre
Apprendre Python Exemples exécutables, NumPy, pandas et plus Apprendre l'IA / Machine LearningRéseaux de neurones, ML et LLM de zéro Apprendre le C et le C++ Pointeurs, mémoire, STL et C++ moderne Apprendre le C#Bases, POO, LINQ, async et exercices .NET Apprendre MatplotlibCourbes, barres, nuages de points et camemberts avec visualiseurs Apprendre RustOwnership, traits, gestion des erreurs et threads Apprendre GoSlices, interfaces, goroutines et channels Algorithmes Python Recherche, tri, récursivité et visualisations O(n) Algorithmes C et C++ Comparer les implémentations en C et C++ Programmation pour enfants Apprends à coder en jouant !
- QuizNouveau
- DéfisNouveau
- EnseignantsNouveau
- Mises à Jour
- Offrez-moi un café
Quiz AI & Machine Learning : Le mécanisme d'attention
L'attention permet à chaque token d'aller chercher de l'information dans les autres tokens de la séquence. Ce quiz difficile vérifie que vous comprenez en détail l'attention par produit scalaire mis à l'échelle (scaled dot-product attention), du rôle des requêtes, clés et valeurs jusqu'au masquage, au coût et à ce qui est réellement appris.
Exemple de question
Question 1 sur 10Dans la self-attention, quelle description des requêtes, clés et valeurs est juste ?
Voir la réponse
C. Une requête exprime ce qu'un token cherche, une clé ce que chaque token propose pour être comparé, et une valeur le contenu mélangé dans la sortie La requête de chaque token est comparée à toutes les clés pour obtenir des scores, et les scores passés au softmax pondèrent les valeurs. Les trois viennent de la même entrée mais via des projections apprises différentes, d'où leurs rôles distincts.
Ce que couvre ce quiz
- Le rôle des requêtes (queries), des clés (keys) et des valeurs (values)
- La formule
softmax(QK^T / sqrt(d_k)) V - Pourquoi les scores sont divisés par la racine carrée de la taille des clés
- Le masquage avec moins l'infini avant le softmax
- Le coût quadratique et le comportement de la self-attention face aux permutations
Questions fréquentes
Faut-il un compte ?
Non. Tout le monde peut jouer. Connectez-vous pour garder votre XP, votre série, vos badges et votre historique.
Puis-je le refaire ?
Oui. Votre meilleur score est conservé, et les questions comme les réponses sont mélangées à chaque fois.