CodeUtility
Haz que programar sea más fácil.
Volver a los desafíos

Ruta de aprendizaje de IA

Construye las piezas de un Transformer en C#

9 retos sobre cómo funcionan por dentro los grandes modelos de lenguaje: tokenizadores y byte pair encoding, codificación posicional, autoatención, atención causal y multicabeza, normalización de capa y muestreo del siguiente token. Resuélvelos en orden en C#; cada uno se ejecuta en tu navegador con pruebas instantáneas y una revisión de IA.

Comenzar el primer desafío
  1. 1

    Tokenización

    Convierte texto en tokens: vocabularios, vectores one-hot y BPE.

    0/3
    1. 1 Tokenizador de palabras y vocabulario Fácil Resolver en C#
    2. 2 Codificación one-hot Fácil Resolver en C#
    3. 3 Fusiones de Byte Pair Encoding (BPE) Intermedio Resolver en C#
  2. 2

    Atención

    Codificación posicional y autoatención, causal y multicabeza.

    0/4
    1. 1 Codificación posicional sinusoidal Intermedio Resolver en C#
    2. 2 Atención por producto escalar escalado Difícil Resolver en C#
    3. 3 Autoatención causal (enmascarada) Intermedio Resolver en C#
    4. 4 Autoatención multicabeza Difícil Resolver en C#
  3. 3

    Normalización y generación

    Normalización de capa y elección del siguiente token.

    0/2
    1. 1 Normalización de capa Intermedio Resolver en C#
    2. 2 Muestreo con temperatura y top-k Intermedio Resolver en C#