CodeUtility
Mach dir das Coderleben leicht!
Zurück zu den Herausforderungen

KI-Lernpfad

Baue die Bausteine eines Transformers in Python

9 Aufgaben dazu, wie große Sprachmodelle innen funktionieren: Tokenizer und Byte Pair Encoding, Positionskodierung, Self-Attention, kausale und Multi-Head-Attention, Layer-Normalisierung und das Sampeln des nächsten Tokens. Löse sie der Reihe nach in Python; jede läuft im Browser mit sofortigen Tests und einem KI-Review.

Erste Aufgabe starten
  1. 1

    Tokenisierung

    Verwandle Text in Tokens: Vokabulare, One-Hot-Vektoren und BPE.

    0/3
    1. 1 Wort-Tokenizer und Vokabular Einfach In Python lösen
    2. 2 One-Hot-Kodierung Einfach In Python lösen
    3. 3 Byte-Pair-Encoding-Merges (BPE) Mittel In Python lösen
  2. 2

    Attention

    Positionskodierung und Self-Attention, kausal und mit mehreren Heads.

    0/4
    1. 1 Sinusförmige Positionskodierung Mittel In Python lösen
    2. 2 Skalierte Skalarprodukt-Attention Schwierig In Python lösen
    3. 3 Kausale (maskierte) Self-Attention Mittel In Python lösen
    4. 4 Multi-Head-Self-Attention Schwierig In Python lösen
  3. 3

    Normalisierung und Generierung

    Layer-Normalisierung und die Wahl des nächsten Tokens.

    0/2
    1. 1 Layer-Normalisierung Mittel In Python lösen
    2. 2 Temperatur- und Top-K-Sampling Mittel In Python lösen