CodeUtility
Faciliter la vie des développeurs !
Retour aux défis

Parcours IA

Construisez les briques d'un Transformer en JavaScript

9 défis sur le fonctionnement interne des grands modèles de langage : tokeniseurs et byte pair encoding, encodage positionnel, auto-attention, attention causale et multi-têtes, normalisation de couche et échantillonnage du token suivant. Résolvez-les dans l'ordre en JavaScript ; chacun s'exécute dans votre navigateur avec des tests instantanés et une revue par l'IA.

Commencer le premier défi
  1. 1

    Tokenisation

    Transformer du texte en tokens : vocabulaires, vecteurs one-hot et BPE.

    0/3
    Apprenez d'abord le concept Tokenisation : vocabulaire, one-hot et byte pair encoding en Python Lire la leçon →
    1. 1 Tokeniseur de mots et vocabulaire Facile Résoudre en JavaScript
    2. 2 Encodage one-hot Facile Résoudre en JavaScript
    3. 3 Fusions de Byte Pair Encoding (BPE) Moyen Résoudre en JavaScript
  2. 2

    Attention

    Encodage positionnel et auto-attention, causale et multi-têtes.

    0/4
    Apprenez d'abord le concept Attention et self-attention en Python Lire la leçon →
    1. 1 Encodage positionnel sinusoïdal Moyen Résoudre en JavaScript
    2. 2 Attention par produit scalaire mis à l'échelle Difficile Résoudre en JavaScript
    3. 3 Auto-attention causale (masquée) Moyen Résoudre en JavaScript
    4. 4 Auto-attention multi-têtes Difficile Résoudre en JavaScript
  3. 3

    Normalisation et génération

    Normalisation de couche et choix du token suivant.

    0/2
    Apprenez d'abord le concept Comment les modèles de langage génèrent du texte : température et top-k en Python Lire la leçon →
    1. 1 Normalisation de couche Moyen Résoudre en JavaScript
    2. 2 Échantillonnage avec température et top-k Moyen Résoudre en JavaScript