CodeUtility
Tornando o seu trabalho de dev mais simples!
Voltar para os desafios

Trilha de aprendizado de IA

Construa as peças de um Transformer em JavaScript

9 desafios sobre como os grandes modelos de linguagem funcionam por dentro: tokenizadores e byte pair encoding, codificação posicional, autoatenção, atenção causal e multi-cabeça, normalização de camada e amostragem do próximo token. Resolva-os em ordem em JavaScript; cada um roda no navegador com testes instantâneos e uma revisão por IA.

Começar o primeiro desafio
  1. 1

    Tokenização

    Transforme texto em tokens: vocabulários, vetores one-hot e BPE.

    0/3
    Aprenda o conceito primeiro Tokenização: vocabulário, one-hot e byte pair encoding em Python Ler a lição →
    1. 1 Tokenizador de palavras e vocabulário Fácil Resolver em JavaScript
    2. 2 Codificação one-hot Fácil Resolver em JavaScript
    3. 3 Fusões de Byte Pair Encoding (BPE) Médio Resolver em JavaScript
  2. 2

    Atenção

    Codificação posicional e autoatenção, causal e multi-cabeça.

    0/4
    Aprenda o conceito primeiro Atenção e self-attention em Python Ler a lição →
    1. 1 Codificação posicional senoidal Médio Resolver em JavaScript
    2. 2 Atenção por produto escalar escalonado Difícil Resolver em JavaScript
    3. 3 Autoatenção causal (mascarada) Médio Resolver em JavaScript
    4. 4 Autoatenção multi-cabeça Difícil Resolver em JavaScript
  3. 3

    Normalização e geração

    Normalização de camada e escolha do próximo token.

    0/2
    Aprenda o conceito primeiro Como os modelos de linguagem geram texto: temperatura e top-k em Python Ler a lição →
    1. 1 Normalização de camada Médio Resolver em JavaScript
    2. 2 Amostragem com temperatura e top-k Médio Resolver em JavaScript