Quiz NLP, transformers et LLM

Comment les modèles de langage transforment le texte en tokens et en vecteurs, comment fonctionnent l'attention et le transformer, et comment les grands modèles de langage génèrent du texte, sont fine-tunés et s'appuient sur la recherche documentaire.

Intermédiaire 5 quiz · 50 questions environ 34 minutes
0/5réussis Examen de catégorie 20 questions variées. 80 % pour obtenir un certificat.
Tags:
1 Tokenisation et embeddings Moyen Découvrez comment le texte devient des tokens, et les tokens des vecteurs qui capturent le sens. #nlp#tokenization 10 questions · ~6 min Pas commencé Commencer
2 Le mécanisme d'attention Difficile Requêtes, clés, valeurs, softmax et la mise à l'échelle par sqrt(d), au cœur de chaque transformer. #attention#transformers 10 questions · ~8 min Pas commencé Commencer
3 Architecture du transformer Difficile Encodeurs, décodeurs, encodage positionnel, masques causaux et attention multi-têtes, façon entretien. #transformers#interview 10 questions · ~8 min Pas commencé Commencer
4 Comment les LLM génèrent du texte Moyen Prédiction du token suivant, logits, fenêtres de contexte et différence entre décodage glouton et échantillonnage. #llm#text-generation 10 questions · ~6 min Pas commencé Commencer
5 Fine-tuning et RAG Moyen Quand faire du fine-tuning, quand faire de la recherche documentaire, et les détails qui font fonctionner la génération augmentée par récupération. #llm#rag 10 questions · ~6 min Pas commencé Commencer