Quiz AI & Machine Learning : Comment les LLM génèrent du texte

Un grand modèle de langage écrit un token à la fois, chacun choisi dans une distribution de probabilités sur son vocabulaire. Ce quiz vérifie comment fonctionne cette boucle, ce que limite la fenêtre de contexte, pourquoi les réponses varient d'une exécution à l'autre et pourquoi un modèle de chat ne se comporte pas comme un modèle de base.

Moyen 10 questions ~6 minutes Réussi à partir de 80 %

Choisissez un mode

Vous jouez en invité : connectez-vous pour garder votre XP et votre série.

Exemple de question

Question 1 sur 10

Quel est l'objectif central du pré-entraînement d'un modèle de langage de type GPT ?

Voir la réponse

B. Prédire le token suivant à partir de tous les tokens précédents Le pré-entraînement consiste à prédire le token suivant sur d'immenses quantités de texte, la loss mesurant la probabilité que le modèle a accordée au vrai token suivant. Tout le reste, y compris répondre à des questions, s'appuie sur cette compétence.

Ce que couvre ce quiz

  • La prédiction du token suivant et la boucle autorégressive
  • Logits, softmax et probabilités sur le vocabulaire
  • Décodage glouton ou échantillonnage
  • Fenêtre de contexte, absence d'état et limites de sortie
  • Le cache KV, et modèles de base ou ajustés aux instructions

Questions fréquentes

Faut-il un compte ?

Non. Tout le monde peut jouer. Connectez-vous pour garder votre XP, votre série, vos badges et votre historique.

Puis-je le refaire ?

Oui. Votre meilleur score est conservé, et les questions comme les réponses sont mélangées à chaque fois.