CodeUtility
Lập trình thông minh, làm việc hiệu quả!
Quay lại danh sách thử thách

Lộ trình học AI

Tự xây dựng các thành phần của Transformer bằng C++

9 bài tập về cách các mô hình ngôn ngữ lớn hoạt động bên trong: tokenizer và byte pair encoding, mã hóa vị trí, self-attention, attention nhân quả và multi-head, chuẩn hóa lớp và chọn token tiếp theo. Hãy giải lần lượt bằng C++; mỗi bài chạy ngay trên trình duyệt với test tức thì và nhận xét từ AI.

Bắt đầu thử thách đầu tiên
  1. 1

    Tách token

    Biến văn bản thành token: từ vựng, vector one-hot và BPE.

    0/3
    1. 1 Tách từ và xây dựng từ vựng Dễ Giải bằng C++
    2. 2 Mã hóa one-hot Dễ Giải bằng C++
    3. 3 Các lần gộp Byte Pair Encoding (BPE) Trung bình Giải bằng C++
  2. 2

    Attention

    Mã hóa vị trí và self-attention, nhân quả và multi-head.

    0/4
    1. 1 Mã hóa vị trí dạng sin Trung bình Giải bằng C++
    2. 2 Scaled dot-product attention Khó Giải bằng C++
    3. 3 Self-attention nhân quả (có mask) Trung bình Giải bằng C++
    4. 4 Self-attention nhiều đầu (multi-head) Khó Giải bằng C++
  3. 3

    Chuẩn hóa và sinh văn bản

    Chuẩn hóa lớp và chọn token tiếp theo.

    0/2
    1. 1 Chuẩn hóa theo lớp (layer normalization) Trung bình Giải bằng C++
    2. 2 Lấy mẫu với temperature và top-k Trung bình Giải bằng C++