CodeUtility
Faciliter la vie des développeurs !
Retour aux défis

Parcours IA

Construisez les briques d'un Transformer en Python

9 défis sur le fonctionnement interne des grands modèles de langage : tokeniseurs et byte pair encoding, encodage positionnel, auto-attention, attention causale et multi-têtes, normalisation de couche et échantillonnage du token suivant. Résolvez-les dans l'ordre en Python ; chacun s'exécute dans votre navigateur avec des tests instantanés et une revue par l'IA.

Commencer le premier défi
  1. 1

    Tokenisation

    Transformer du texte en tokens : vocabulaires, vecteurs one-hot et BPE.

    0/3
    1. 1 Tokeniseur de mots et vocabulaire Facile Résoudre en Python
    2. 2 Encodage one-hot Facile Résoudre en Python
    3. 3 Fusions de Byte Pair Encoding (BPE) Moyen Résoudre en Python
  2. 2

    Attention

    Encodage positionnel et auto-attention, causale et multi-têtes.

    0/4
    1. 1 Encodage positionnel sinusoïdal Moyen Résoudre en Python
    2. 2 Attention par produit scalaire mis à l'échelle Difficile Résoudre en Python
    3. 3 Auto-attention causale (masquée) Moyen Résoudre en Python
    4. 4 Auto-attention multi-têtes Difficile Résoudre en Python
  3. 3

    Normalisation et génération

    Normalisation de couche et choix du token suivant.

    0/2
    1. 1 Normalisation de couche Moyen Résoudre en Python
    2. 2 Échantillonnage avec température et top-k Moyen Résoudre en Python