CodeUtility
Кодить проще - жить легче!
К списку задач

Учебный путь по ИИ

Соберите части Transformer на Python

9 задач о том, как устроены большие языковые модели: токенизаторы и byte pair encoding, позиционное кодирование, самовнимание, каузальное и многоголовое внимание, нормализация слоя и выбор следующего токена. Решайте их по порядку на Python; каждая запускается в браузере с мгновенными тестами и отзывом ИИ.

Начать первое задание
  1. 1

    Токенизация

    Превращение текста в токены: словари, one-hot векторы и BPE.

    0/3
    1. 1 Токенизатор слов и словарь Легко Решить на Python
    2. 2 One-hot кодирование Легко Решить на Python
    3. 3 Слияния Byte Pair Encoding (BPE) Средне Решить на Python
  2. 2

    Внимание

    Позиционное кодирование и самовнимание, каузальное и многоголовое.

    0/4
    1. 1 Синусоидальное позиционное кодирование Средне Решить на Python
    2. 2 Масштабированное скалярное внимание Сложно Решить на Python
    3. 3 Каузальное (маскированное) самовнимание Средне Решить на Python
    4. 4 Многоголовое самовнимание Сложно Решить на Python
  3. 3

    Нормализация и генерация

    Нормализация слоя и выбор следующего токена.

    0/2
    1. 1 Нормализация слоя Средне Решить на Python
    2. 2 Сэмплирование с температурой и top-k Средне Решить на Python