KI-Lernpfad

Baue die Bausteine eines Transformers in C#

9 Aufgaben dazu, wie große Sprachmodelle innen funktionieren: Tokenizer und Byte Pair Encoding, Positionskodierung, Self-Attention, kausale und Multi-Head-Attention, Layer-Normalisierung und das Sampeln des nächsten Tokens. Löse sie der Reihe nach in C#; jede läuft im Browser mit sofortigen Tests und einem KI-Review.

Erste Aufgabe starten

Melde dich an, um deinen Fortschritt im Pfad zu speichern.

0%gelöst

0 / 9

1

Tokenisierung

Verwandle Text in Tokens: Vokabulare, One-Hot-Vektoren und BPE.

0/3
1. 1 Wort-Tokenizer und Vokabular Einfach In C# lösen
2. 2 One-Hot-Kodierung Einfach In C# lösen
3. 3 Byte-Pair-Encoding-Merges (BPE) Mittel In C# lösen
2

Attention

Positionskodierung und Self-Attention, kausal und mit mehreren Heads.

0/4
1. 1 Sinusförmige Positionskodierung Mittel In C# lösen
2. 2 Skalierte Skalarprodukt-Attention Schwierig In C# lösen
3. 3 Kausale (maskierte) Self-Attention Mittel In C# lösen
4. 4 Multi-Head-Self-Attention Schwierig In C# lösen
3

Normalisierung und Generierung

Layer-Normalisierung und die Wahl des nächsten Tokens.

0/2
1. 1 Layer-Normalisierung Mittel In C# lösen
2. 2 Temperatur- und Top-K-Sampling Mittel In C# lösen