CodeUtility
Facilitiamo la vita agli sviluppatori!
Torna alle sfide

Percorso di apprendimento IA

Costruisci i pezzi di un Transformer in C++

9 sfide su come funzionano dentro i grandi modelli linguistici: tokenizzatori e byte pair encoding, codifica posizionale, self-attention, attenzione causale e multi-head, normalizzazione di layer e campionamento del token successivo. Risolvile in ordine in C++; ognuna gira nel browser con test immediati e una revisione dell'IA.

Inizia la prima sfida
  1. 1

    Tokenizzazione

    Trasforma il testo in token: vocabolari, vettori one-hot e BPE.

    0/3
    1. 1 Tokenizzatore di parole e vocabolario Facile Risolvi in C++
    2. 2 Codifica one-hot Facile Risolvi in C++
    3. 3 Fusioni Byte Pair Encoding (BPE) Media Risolvi in C++
  2. 2

    Attenzione

    Codifica posizionale e self-attention, causale e multi-head.

    0/4
    1. 1 Codifica posizionale sinusoidale Media Risolvi in C++
    2. 2 Attenzione a prodotto scalare scalato Difficile Risolvi in C++
    3. 3 Self-attention causale (mascherata) Media Risolvi in C++
    4. 4 Self-attention multi-head Difficile Risolvi in C++
  3. 3

    Normalizzazione e generazione

    Normalizzazione di layer e scelta del token successivo.

    0/2
    1. 1 Normalizzazione di layer Media Risolvi in C++
    2. 2 Campionamento con temperatura e top-k Media Risolvi in C++