Quiz AI & Machine Learning: LLM sinh văn bản như thế nào

Một mô hình ngôn ngữ lớn (LLM) viết từng token một, mỗi token được chọn từ một phân phối xác suất trên bộ từ vựng. Bài quiz này kiểm tra vòng lặp đó hoạt động thế nào, context window (cửa sổ ngữ cảnh) giới hạn điều gì, vì sao câu trả lời khác nhau giữa các lần chạy và vì sao mô hình chat cư xử khác mô hình base.

Trung bình 10 câu hỏi ~6 phút Đạt từ 80%

Chọn chế độ

Bạn đang chơi với tư cách khách: đăng nhập để lưu XP và streak.

Câu hỏi mẫu

Câu 1/10

Mục tiêu huấn luyện trước cốt lõi của một mô hình ngôn ngữ kiểu GPT là gì?

Xem đáp án

B. Dự đoán token tiếp theo dựa trên toàn bộ các token phía trước Huấn luyện trước là dự đoán token tiếp theo trên lượng văn bản khổng lồ, với loss đo xem mô hình dành bao nhiêu xác suất cho token thật sự đứng tiếp theo. Mọi thứ khác, kể cả trả lời câu hỏi, đều xây dựng trên kỹ năng đó.

Quiz này có gì

  • Dự đoán token tiếp theo và vòng lặp tự hồi quy
  • Logit, softmax và xác suất trên bộ từ vựng
  • Greedy decoding so với sampling
  • Context window, tính phi trạng thái và giới hạn đầu ra
  • KV cache và mô hình base so với mô hình đã instruction-tune

Câu hỏi thường gặp

Có cần tài khoản không?

Không. Ai cũng chơi được. Đăng nhập để lưu XP, streak, badge và lịch sử.

Có làm lại được không?

Được. Điểm cao nhất của bạn được giữ lại, câu hỏi và đáp án được xáo trộn mỗi lần.