Trilha de aprendizado de IA

Construa as peças de um Transformer em C#

9 desafios sobre como os grandes modelos de linguagem funcionam por dentro: tokenizadores e byte pair encoding, codificação posicional, autoatenção, atenção causal e multi-cabeça, normalização de camada e amostragem do próximo token. Resolva-os em ordem em C#; cada um roda no navegador com testes instantâneos e uma revisão por IA.

Começar o primeiro desafio

Faça login para salvar seu progresso na trilha.

0%resolvido

0 / 9

1

Tokenização

Transforme texto em tokens: vocabulários, vetores one-hot e BPE.

0/3
1. 1 Tokenizador de palavras e vocabulário Fácil Resolver em C#
2. 2 Codificação one-hot Fácil Resolver em C#
3. 3 Fusões de Byte Pair Encoding (BPE) Médio Resolver em C#
2

Atenção

Codificação posicional e autoatenção, causal e multi-cabeça.

0/4
1. 1 Codificação posicional senoidal Médio Resolver em C#
2. 2 Atenção por produto escalar escalonado Difícil Resolver em C#
3. 3 Autoatenção causal (mascarada) Médio Resolver em C#
4. 4 Autoatenção multi-cabeça Difícil Resolver em C#
3

Normalização e geração

Normalização de camada e escolha do próximo token.

0/2
1. 1 Normalização de camada Médio Resolver em C#
2. 2 Amostragem com temperatura e top-k Médio Resolver em C#