CodeUtility
Кодить проще - жить легче!
К списку задач

Учебный путь по ИИ

Соберите части Transformer на Rust

9 задач о том, как устроены большие языковые модели: токенизаторы и byte pair encoding, позиционное кодирование, самовнимание, каузальное и многоголовое внимание, нормализация слоя и выбор следующего токена. Решайте их по порядку на Rust; каждая запускается в браузере с мгновенными тестами и отзывом ИИ.

Начать первое задание
  1. 1

    Токенизация

    Превращение текста в токены: словари, one-hot векторы и BPE.

    0/3
    Сначала разберитесь в теме Токенизация: словарь, one-hot и byte pair encoding на Python Читать урок →
    1. 1 Токенизатор слов и словарь Легко Решить на Rust
    2. 2 One-hot кодирование Легко Решить на Rust
    3. 3 Слияния Byte Pair Encoding (BPE) Средне Решить на Rust
  2. 2

    Внимание

    Позиционное кодирование и самовнимание, каузальное и многоголовое.

    0/4
    Сначала разберитесь в теме Attention и self-attention на Python Читать урок →
    1. 1 Синусоидальное позиционное кодирование Средне Решить на Rust
    2. 2 Масштабированное скалярное внимание Сложно Решить на Rust
    3. 3 Каузальное (маскированное) самовнимание Средне Решить на Rust
    4. 4 Многоголовое самовнимание Сложно Решить на Rust
  3. 3

    Нормализация и генерация

    Нормализация слоя и выбор следующего токена.

    0/2
    Сначала разберитесь в теме Как языковые модели генерируют текст: temperature и top-k на Python Читать урок →
    1. 1 Нормализация слоя Средне Решить на Rust
    2. 2 Сэмплирование с температурой и top-k Средне Решить на Rust