CodeUtility
Facilitiamo la vita agli sviluppatori!
Torna alle sfide

Percorso di apprendimento IA

Costruisci i pezzi di un Transformer in Java

9 sfide su come funzionano dentro i grandi modelli linguistici: tokenizzatori e byte pair encoding, codifica posizionale, self-attention, attenzione causale e multi-head, normalizzazione di layer e campionamento del token successivo. Risolvile in ordine in Java; ognuna gira nel browser con test immediati e una revisione dell'IA.

Inizia la prima sfida
  1. 1

    Tokenizzazione

    Trasforma il testo in token: vocabolari, vettori one-hot e BPE.

    0/3
    Prima impara il concetto Tokenizzazione: vocabolario, one-hot e byte pair encoding in Python Leggi la lezione →
    1. 1 Tokenizzatore di parole e vocabolario Facile Risolvi in Java
    2. 2 Codifica one-hot Facile Risolvi in Java
    3. 3 Fusioni Byte Pair Encoding (BPE) Media Risolvi in Java
  2. 2

    Attenzione

    Codifica posizionale e self-attention, causale e multi-head.

    0/4
    Prima impara il concetto Attention e self-attention in Python Leggi la lezione →
    1. 1 Codifica posizionale sinusoidale Media Risolvi in Java
    2. 2 Attenzione a prodotto scalare scalato Difficile Risolvi in Java
    3. 3 Self-attention causale (mascherata) Media Risolvi in Java
    4. 4 Self-attention multi-head Difficile Risolvi in Java
  3. 3

    Normalizzazione e generazione

    Normalizzazione di layer e scelta del token successivo.

    0/2
    Prima impara il concetto Come i modelli linguistici generano testo: temperature e top-k in Python Leggi la lezione →
    1. 1 Normalizzazione di layer Media Risolvi in Java
    2. 2 Campionamento con temperatura e top-k Media Risolvi in Java