Учебный путь по ИИ

Соберите части Transformer на C#

9 задач о том, как устроены большие языковые модели: токенизаторы и byte pair encoding, позиционное кодирование, самовнимание, каузальное и многоголовое внимание, нормализация слоя и выбор следующего токена. Решайте их по порядку на C#; каждая запускается в браузере с мгновенными тестами и отзывом ИИ.

Начать первое задание

Войдите, чтобы сохранить прогресс на пути.

0%решено

0 / 9

1

Токенизация

Превращение текста в токены: словари, one-hot векторы и BPE.

0/3
1. 1 Токенизатор слов и словарь Легко Решить на C#
2. 2 One-hot кодирование Легко Решить на C#
3. 3 Слияния Byte Pair Encoding (BPE) Средне Решить на C#
2

Внимание

Позиционное кодирование и самовнимание, каузальное и многоголовое.

0/4
1. 1 Синусоидальное позиционное кодирование Средне Решить на C#
2. 2 Масштабированное скалярное внимание Сложно Решить на C#
3. 3 Каузальное (маскированное) самовнимание Средне Решить на C#
4. 4 Многоголовое самовнимание Сложно Решить на C#
3

Нормализация и генерация

Нормализация слоя и выбор следующего токена.

0/2
1. 1 Нормализация слоя Средне Решить на C#
2. 2 Сэмплирование с температурой и top-k Средне Решить на C#