CodeUtility
Lập trình thông minh, làm việc hiệu quả!
Quay lại danh sách thử thách

Lộ trình học AI

Tự xây dựng các thành phần của Transformer bằng Rust

9 bài tập về cách các mô hình ngôn ngữ lớn hoạt động bên trong: tokenizer và byte pair encoding, mã hóa vị trí, self-attention, attention nhân quả và multi-head, chuẩn hóa lớp và chọn token tiếp theo. Hãy giải lần lượt bằng Rust; mỗi bài chạy ngay trên trình duyệt với test tức thì và nhận xét từ AI.

Bắt đầu thử thách đầu tiên
  1. 1

    Tách token

    Biến văn bản thành token: từ vựng, vector one-hot và BPE.

    0/3
    Học khái niệm trước Tokenization: từ vựng, one-hot và byte pair encoding trong Python Đọc bài học →
    1. 1 Tách từ và xây dựng từ vựng Dễ Giải bằng Rust
    2. 2 Mã hóa one-hot Dễ Giải bằng Rust
    3. 3 Các lần gộp Byte Pair Encoding (BPE) Trung bình Giải bằng Rust
  2. 2

    Attention

    Mã hóa vị trí và self-attention, nhân quả và multi-head.

    0/4
    Học khái niệm trước Attention và self-attention trong Python Đọc bài học →
    1. 1 Mã hóa vị trí dạng sin Trung bình Giải bằng Rust
    2. 2 Scaled dot-product attention Khó Giải bằng Rust
    3. 3 Self-attention nhân quả (có mask) Trung bình Giải bằng Rust
    4. 4 Self-attention nhiều đầu (multi-head) Khó Giải bằng Rust
  3. 3

    Chuẩn hóa và sinh văn bản

    Chuẩn hóa lớp và chọn token tiếp theo.

    0/2
    Học khái niệm trước Mô hình ngôn ngữ sinh văn bản như thế nào: temperature và top-k trong Python Đọc bài học →
    1. 1 Chuẩn hóa theo lớp (layer normalization) Trung bình Giải bằng Rust
    2. 2 Lấy mẫu với temperature và top-k Trung bình Giải bằng Rust