- ตัวดำเนินการ
-
เรียนรู้
เรียน Python ตัวอย่างที่รันได้, NumPy, pandas และอื่น ๆ เรียน AI / Machine Learningโครงข่ายประสาท ML และ LLM ตั้งแต่ศูนย์ เรียน C และ C++ พอยน์เตอร์ หน่วยความจำ STL และ C++ สมัยใหม่ เรียน C#พื้นฐาน C#, OOP, LINQ, async และแบบฝึกหัด .NET เรียน Matplotlibกราฟเส้น แท่ง กระจาย และวงกลม พร้อมตัวแสดงภาพแบบโต้ตอบ เรียน RustOwnership, trait, การจัดการข้อผิดพลาด และ thread เรียน GoSlice, interface, goroutine และ channel อัลกอริทึม Python การค้นหา การเรียงลำดับ รีเคอร์ชัน และภาพจำลอง O(n) อัลกอริทึม C และ C++ เปรียบเทียบการเขียนด้วย C และ C++ เขียนโปรแกรมสำหรับเด็ก เรียนเขียนโปรแกรมผ่านการเล่น!
- ควิซใหม่
- โจทย์ใหม่
- สำหรับครูใหม่
- อัปเดต
- เลี้ยงกาแฟสักแก้ว
ควิซ AI & Machine Learning: The Attention Mechanism
Attention lets each token pull in information from the other tokens in the sequence. This hard quiz checks that you understand scaled dot-product attention in detail, from the roles of queries, keys and values to masking, cost and what is actually learned.
ตัวอย่างคำถาม
ข้อ 1 จาก 10In self-attention, which description of queries, keys and values is right?
ดูเฉลย
C. A query is what a token is looking for, a key is what each token offers to be matched against, and a value is the content that gets mixed into the output Each token's query is compared with every key to get scores, and the softmaxed scores weight the values. All three come from the same input but through different learned projections, so they play different roles.
ควิซนี้มีเนื้อหาอะไรบ้าง
- The roles of queries, keys and values
- The formula
softmax(QK^T / sqrt(d_k)) V - Why scores are divided by the square root of the key size
- Masking with negative infinity before softmax
- Quadratic cost and permutation behaviour of self-attention
คำถามที่พบบ่อย
ต้องมีบัญชีไหม?
ไม่ต้อง ใครก็เล่นได้ เข้าสู่ระบบเพื่อเก็บ XP, streak, เหรียญตรา และประวัติ
ทำซ้ำได้ไหม?
ได้ ระบบเก็บคะแนนที่ดีที่สุดไว้ และสลับคำถามกับตัวเลือกใหม่ทุกครั้ง