Lộ trình học AI

Tự xây dựng các thành phần của Transformer bằng C#

9 bài tập về cách các mô hình ngôn ngữ lớn hoạt động bên trong: tokenizer và byte pair encoding, mã hóa vị trí, self-attention, attention nhân quả và multi-head, chuẩn hóa lớp và chọn token tiếp theo. Hãy giải lần lượt bằng C#; mỗi bài chạy ngay trên trình duyệt với test tức thì và nhận xét từ AI.

Bắt đầu thử thách đầu tiên

Đăng nhập để lưu tiến trình học của bạn.

0%đã giải

0 / 9

1

Tách token

Biến văn bản thành token: từ vựng, vector one-hot và BPE.

0/3
1. 1 Tách từ và xây dựng từ vựng Dễ Giải bằng C#
2. 2 Mã hóa one-hot Dễ Giải bằng C#
3. 3 Các lần gộp Byte Pair Encoding (BPE) Trung bình Giải bằng C#
2

Attention

Mã hóa vị trí và self-attention, nhân quả và multi-head.

0/4
1. 1 Mã hóa vị trí dạng sin Trung bình Giải bằng C#
2. 2 Scaled dot-product attention Khó Giải bằng C#
3. 3 Self-attention nhân quả (có mask) Trung bình Giải bằng C#
4. 4 Self-attention nhiều đầu (multi-head) Khó Giải bằng C#
3

Chuẩn hóa và sinh văn bản

Chuẩn hóa lớp và chọn token tiếp theo.

0/2
1. 1 Chuẩn hóa theo lớp (layer normalization) Trung bình Giải bằng C#
2. 2 Lấy mẫu với temperature và top-k Trung bình Giải bằng C#