Quiz AI & Machine Learning: Cơ chế attention

Attention (cơ chế chú ý) cho phép mỗi token kéo thông tin từ các token khác trong chuỗi. Bài quiz khó này kiểm tra xem bạn có hiểu chi tiết scaled dot-product attention không, từ vai trò của query, key, value tới mask, chi phí tính toán và những gì thực sự được học.

Khó 10 câu hỏi ~8 phút Đạt từ 80%

Chọn chế độ

Bạn đang chơi với tư cách khách: đăng nhập để lưu XP và streak.

Câu hỏi mẫu

Câu 1/10

Trong self-attention, mô tả nào về query, key và value là đúng?

Xem đáp án

C. Query là thứ một token đang tìm kiếm, key là thứ mỗi token đưa ra để được so khớp, còn value là nội dung được trộn vào đầu ra Query của mỗi token được so với mọi key để ra điểm số, rồi điểm số sau softmax được dùng làm trọng số cho các value. Cả ba đều đến từ cùng một đầu vào nhưng qua các phép chiếu học được khác nhau, nên chúng đóng vai trò khác nhau.

Quiz này có gì

  • Vai trò của query, key và value
  • Công thức softmax(QK^T / sqrt(d_k)) V
  • Vì sao điểm số được chia cho căn bậc hai kích thước của key
  • Mask bằng âm vô cùng trước softmax
  • Chi phí bậc hai và hành vi khi hoán vị của self-attention

Câu hỏi thường gặp

Có cần tài khoản không?

Không. Ai cũng chơi được. Đăng nhập để lưu XP, streak, badge và lịch sử.

Có làm lại được không?

Được. Điểm cao nhất của bạn được giữ lại, câu hỏi và đáp án được xáo trộn mỗi lần.