CodeUtility
Mach dir das Coderleben leicht!
Zurück zu den Herausforderungen

KI-Lernpfad

Baue die Bausteine eines Transformers in Go

9 Aufgaben dazu, wie große Sprachmodelle innen funktionieren: Tokenizer und Byte Pair Encoding, Positionskodierung, Self-Attention, kausale und Multi-Head-Attention, Layer-Normalisierung und das Sampeln des nächsten Tokens. Löse sie der Reihe nach in Go; jede läuft im Browser mit sofortigen Tests und einem KI-Review.

Erste Aufgabe starten
  1. 1

    Tokenisierung

    Verwandle Text in Tokens: Vokabulare, One-Hot-Vektoren und BPE.

    0/3
    Zuerst das Konzept lernen Tokenisierung: Vokabular, One-Hot und Byte Pair Encoding in Python Lektion lesen →
    1. 1 Wort-Tokenizer und Vokabular Einfach In Go lösen
    2. 2 One-Hot-Kodierung Einfach In Go lösen
    3. 3 Byte-Pair-Encoding-Merges (BPE) Mittel In Go lösen
  2. 2

    Attention

    Positionskodierung und Self-Attention, kausal und mit mehreren Heads.

    0/4
    Zuerst das Konzept lernen Attention und Self-Attention in Python Lektion lesen →
    1. 1 Sinusförmige Positionskodierung Mittel In Go lösen
    2. 2 Skalierte Skalarprodukt-Attention Schwierig In Go lösen
    3. 3 Kausale (maskierte) Self-Attention Mittel In Go lösen
    4. 4 Multi-Head-Self-Attention Schwierig In Go lösen
  3. 3

    Normalisierung und Generierung

    Layer-Normalisierung und die Wahl des nächsten Tokens.

    0/2
    Zuerst das Konzept lernen Wie Sprachmodelle Text erzeugen: Temperature und Top-k in Python Lektion lesen →
    1. 1 Layer-Normalisierung Mittel In Go lösen
    2. 2 Temperatur- und Top-K-Sampling Mittel In Go lösen