Quiz AI & Machine Learning : Architecture du transformer

Le transformer est l'architecture derrière les modèles de langage modernes. Ce quiz difficile, façon entretien, vérifie comment les pièces s'assemblent, des modèles encodeur seul et décodeur seul à l'encodage positionnel, au masque causal, à l'attention multi-têtes et aux blocs qui l'entourent.

Difficile 10 questions ~8 minutes Réussi à partir de 80 %

Choisissez un mode

Vous jouez en invité : connectez-vous pour garder votre XP et votre série.

Exemple de question

Question 1 sur 10

Quelle association entre famille de modèles et architecture est juste ?

Voir la réponse

C. BERT : encodeur seul ; modèles de type GPT : décodeur seul BERT empile des blocs encodeurs qui voient toute l'entrée dans les deux sens, ce qui convient aux tâches de compréhension. Les modèles de type GPT empilent des blocs décodeurs avec un masque causal, ce qui convient à la génération de texte de gauche à droite ; le transformer d'origine, conçu pour la traduction, utilisait les deux.

Ce que couvre ce quiz

  • Modèles encodeur seul, décodeur seul et encodeur-décodeur
  • Les encodages de position, dont les embeddings rotatifs (RoPE)
  • Le masque causal et pourquoi l'entraînement peut se faire en parallèle
  • L'attention multi-têtes et la taille des têtes
  • Connexions résiduelles, layer norm et bloc feed-forward

Questions fréquentes

Faut-il un compte ?

Non. Tout le monde peut jouer. Connectez-vous pour garder votre XP, votre série, vos badges et votre historique.

Puis-je le refaire ?

Oui. Votre meilleur score est conservé, et les questions comme les réponses sont mélangées à chaque fois.