CodeUtility
Haz que programar sea más fácil.
Volver a los desafíos

Ruta de aprendizaje de IA

Construye las piezas de un Transformer en Java

9 retos sobre cómo funcionan por dentro los grandes modelos de lenguaje: tokenizadores y byte pair encoding, codificación posicional, autoatención, atención causal y multicabeza, normalización de capa y muestreo del siguiente token. Resuélvelos en orden en Java; cada uno se ejecuta en tu navegador con pruebas instantáneas y una revisión de IA.

Comenzar el primer desafío
  1. 1

    Tokenización

    Convierte texto en tokens: vocabularios, vectores one-hot y BPE.

    0/3
    Aprende primero el concepto Tokenización: vocabulario, one-hot y byte pair encoding en Python Leer la lección →
    1. 1 Tokenizador de palabras y vocabulario Fácil Resolver en Java
    2. 2 Codificación one-hot Fácil Resolver en Java
    3. 3 Fusiones de Byte Pair Encoding (BPE) Intermedio Resolver en Java
  2. 2

    Atención

    Codificación posicional y autoatención, causal y multicabeza.

    0/4
    Aprende primero el concepto Atención y self-attention en Python Leer la lección →
    1. 1 Codificación posicional sinusoidal Intermedio Resolver en Java
    2. 2 Atención por producto escalar escalado Difícil Resolver en Java
    3. 3 Autoatención causal (enmascarada) Intermedio Resolver en Java
    4. 4 Autoatención multicabeza Difícil Resolver en Java
  3. 3

    Normalización y generación

    Normalización de capa y elección del siguiente token.

    0/2
    Aprende primero el concepto Cómo generan texto los modelos de lenguaje: temperatura y top-k en Python Leer la lección →
    1. 1 Normalización de capa Intermedio Resolver en Java
    2. 2 Muestreo con temperatura y top-k Intermedio Resolver en Java