Quiz AI & Machine Learning : Le mécanisme d'attention

L'attention permet à chaque token d'aller chercher de l'information dans les autres tokens de la séquence. Ce quiz difficile vérifie que vous comprenez en détail l'attention par produit scalaire mis à l'échelle (scaled dot-product attention), du rôle des requêtes, clés et valeurs jusqu'au masquage, au coût et à ce qui est réellement appris.

Difficile 10 questions ~8 minutes Réussi à partir de 80 %

Choisissez un mode

Vous jouez en invité : connectez-vous pour garder votre XP et votre série.

Exemple de question

Question 1 sur 10

Dans la self-attention, quelle description des requêtes, clés et valeurs est juste ?

Voir la réponse

C. Une requête exprime ce qu'un token cherche, une clé ce que chaque token propose pour être comparé, et une valeur le contenu mélangé dans la sortie La requête de chaque token est comparée à toutes les clés pour obtenir des scores, et les scores passés au softmax pondèrent les valeurs. Les trois viennent de la même entrée mais via des projections apprises différentes, d'où leurs rôles distincts.

Ce que couvre ce quiz

  • Le rôle des requêtes (queries), des clés (keys) et des valeurs (values)
  • La formule softmax(QK^T / sqrt(d_k)) V
  • Pourquoi les scores sont divisés par la racine carrée de la taille des clés
  • Le masquage avec moins l'infini avant le softmax
  • Le coût quadratique et le comportement de la self-attention face aux permutations

Questions fréquentes

Faut-il un compte ?

Non. Tout le monde peut jouer. Connectez-vous pour garder votre XP, votre série, vos badges et votre historique.

Puis-je le refaire ?

Oui. Votre meilleur score est conservé, et les questions comme les réponses sont mélangées à chaque fois.