-
Trình Thực Thi
Trình biên dịch Python Trình biên dịch C++ Trình biên dịch C Trình biên dịch Matplotlib Trình thông dịch Node.js Trình thông dịch PHP Trình biên dịch C# / .NET Trình biên dịch Rust Ruby Interpreter Trình biên dịch Java Trình biên dịch Go Trình biên dịch Kotlin Trình biên dịch Swift Trình biên dịch TypeScript
-
Học lập trình
Học Python Ví dụ chạy được, NumPy, pandas và nhiều nội dung khác Học AI / Machine LearningMạng nơ-ron, học máy và LLM từ đầu Học C và C++ Con trỏ, bộ nhớ, STL và C++ hiện đại Học C#C# cơ bản, OOP, LINQ, async và bài tập .NET Học MatplotlibBiểu đồ đường, cột, phân tán và tròn với visualizer tương tác Học RustOwnership, trait, xử lý lỗi và thread Học GoSlice, interface, goroutine và channel Thuật toán Python Tìm kiếm, sắp xếp, đệ quy và trình mô phỏng O(n) Thuật toán C và C++ So sánh cách cài đặt bằng C và C++ Lập trình cho trẻ em Vừa chơi vừa học lập trình!
- QuizMới
- Thử tháchMới
- Cho giáo viênMới
- Cập Nhật mới nhất
- Mời mình một ly cà phê
Quiz AI & Machine Learning: Cơ chế attention
Attention (cơ chế chú ý) cho phép mỗi token kéo thông tin từ các token khác trong chuỗi. Bài quiz khó này kiểm tra xem bạn có hiểu chi tiết scaled dot-product attention không, từ vai trò của query, key, value tới mask, chi phí tính toán và những gì thực sự được học.
Câu hỏi mẫu
Câu 1/10Trong self-attention, mô tả nào về query, key và value là đúng?
Xem đáp án
C. Query là thứ một token đang tìm kiếm, key là thứ mỗi token đưa ra để được so khớp, còn value là nội dung được trộn vào đầu ra Query của mỗi token được so với mọi key để ra điểm số, rồi điểm số sau softmax được dùng làm trọng số cho các value. Cả ba đều đến từ cùng một đầu vào nhưng qua các phép chiếu học được khác nhau, nên chúng đóng vai trò khác nhau.
Quiz này có gì
- Vai trò của query, key và value
- Công thức
softmax(QK^T / sqrt(d_k)) V - Vì sao điểm số được chia cho căn bậc hai kích thước của key
- Mask bằng âm vô cùng trước softmax
- Chi phí bậc hai và hành vi khi hoán vị của self-attention
Câu hỏi thường gặp
Có cần tài khoản không?
Không. Ai cũng chơi được. Đăng nhập để lưu XP, streak, badge và lịch sử.
Có làm lại được không?
Được. Điểm cao nhất của bạn được giữ lại, câu hỏi và đáp án được xáo trộn mỗi lần.