Quiz AI & Machine Learning: Tokenization và Embedding

Trước khi một mô hình ngôn ngữ đọc được bất cứ thứ gì, văn bản phải được tách thành các token và mỗi token được ánh xạ sang một vector. Bài quiz này kiểm tra cách các tokenizer dạng subword như BPE hoạt động, embedding (vector biểu diễn) là gì và vì sao chúng giải thích được một số hành vi kỳ lạ của LLM.

Trung bình 10 câu hỏi ~6 phút Đạt từ 80%

Chọn chế độ

Bạn đang chơi với tư cách khách: đăng nhập để lưu XP và streak.

Câu hỏi mẫu

Câu 1/10

Vì sao hầu hết mô hình ngôn ngữ hiện đại dùng tokenization theo subword (từ con) thay vì mỗi từ một token?

Xem đáp án

B. Một bộ từ vựng kích thước cố định vẫn biểu diễn được các từ hiếm và từ chưa gặp bằng cách tách chúng thành những mảnh đã biết Bộ từ vựng theo cả từ sẽ khổng lồ mà vẫn sót từ mới, lỗi chính tả và tên riêng. Subword giữ bộ từ vựng ở mức kiểm soát được: từ phổ biến vẫn là một token, còn từ hiếm được tách thành các mảnh như token + ization.

Quiz này có gì

  • Vì sao tách theo subword tốt hơn tách cả từ hay từng ký tự
  • Byte pair encoding (BPE) xây dựng bộ từ vựng thế nào
  • Embedding là vector dày đặc học được và độ tương đồng cosine
  • Embedding tĩnh so với embedding theo ngữ cảnh
  • Những điểm kỳ quặc do token gây ra, như đếm chữ cái và văn bản không phải tiếng Anh

Câu hỏi thường gặp

Có cần tài khoản không?

Không. Ai cũng chơi được. Đăng nhập để lưu XP, streak, badge và lịch sử.

Có làm lại được không?

Được. Điểm cao nhất của bạn được giữ lại, câu hỏi và đáp án được xáo trộn mỗi lần.