CodeUtility
ใช้ชีวิตนักพัฒนาให้ง่ายขึ้นไปอีก!
กลับไปยังโจทย์

เส้นทางการเรียนรู้ AI

สร้างส่วนประกอบของ Transformer ด้วย Python

9 โจทย์เกี่ยวกับการทำงานภายในของโมเดลภาษาขนาดใหญ่: tokenizer และ byte pair encoding การเข้ารหัสตำแหน่ง self-attention, causal attention และ multi-head attention, layer normalization และการสุ่ม token ถัดไป แก้ตามลำดับด้วย Python ทุกโจทย์รันในเบราว์เซอร์พร้อมผลทดสอบทันทีและรีวิวจาก AI

เริ่มโจทย์แรก
  1. 1

    การตัด token

    แปลงข้อความเป็น token: คลังคำศัพท์ เวกเตอร์ one-hot และ BPE

    0/3
    1. 1 ตัวตัดคำและคลังคำศัพท์ ง่าย แก้โจทย์ด้วย Python
    2. 2 การเข้ารหัสแบบ one-hot ง่าย แก้โจทย์ด้วย Python
    3. 3 การรวมแบบ Byte Pair Encoding (BPE) ปานกลาง แก้โจทย์ด้วย Python
  2. 2

    Attention

    การเข้ารหัสตำแหน่งและ self-attention แบบ causal และ multi-head

    0/4
    1. 1 การเข้ารหัสตำแหน่งแบบไซน์ ปานกลาง แก้โจทย์ด้วย Python
    2. 2 Scaled dot-product attention ยาก แก้โจทย์ด้วย Python
    3. 3 Self-attention แบบ causal (มีมาสก์) ปานกลาง แก้โจทย์ด้วย Python
    4. 4 Multi-head self-attention ยาก แก้โจทย์ด้วย Python
  3. 3

    Normalization และการสร้างข้อความ

    Layer normalization และการเลือก token ถัดไป

    0/2
    1. 1 Layer normalization ปานกลาง แก้โจทย์ด้วย Python
    2. 2 การสุ่มด้วย temperature และ top-k ปานกลาง แก้โจทย์ด้วย Python