CodeUtility
Tornando o seu trabalho de dev mais simples!
Voltar para os desafios

Trilha de aprendizado de IA

Construa as peças de um Transformer em C++

9 desafios sobre como os grandes modelos de linguagem funcionam por dentro: tokenizadores e byte pair encoding, codificação posicional, autoatenção, atenção causal e multi-cabeça, normalização de camada e amostragem do próximo token. Resolva-os em ordem em C++; cada um roda no navegador com testes instantâneos e uma revisão por IA.

Começar o primeiro desafio
  1. 1

    Tokenização

    Transforme texto em tokens: vocabulários, vetores one-hot e BPE.

    0/3
    1. 1 Tokenizador de palavras e vocabulário Fácil Resolver em C++
    2. 2 Codificação one-hot Fácil Resolver em C++
    3. 3 Fusões de Byte Pair Encoding (BPE) Médio Resolver em C++
  2. 2

    Atenção

    Codificação posicional e autoatenção, causal e multi-cabeça.

    0/4
    1. 1 Codificação posicional senoidal Médio Resolver em C++
    2. 2 Atenção por produto escalar escalonado Difícil Resolver em C++
    3. 3 Autoatenção causal (mascarada) Médio Resolver em C++
    4. 4 Autoatenção multi-cabeça Difícil Resolver em C++
  3. 3

    Normalização e geração

    Normalização de camada e escolha do próximo token.

    0/2
    1. 1 Normalização de camada Médio Resolver em C++
    2. 2 Amostragem com temperatura e top-k Médio Resolver em C++