AI & Machine Learning クイズ: トークン化と埋め込み

言語モデルが何かを読む前に、テキストはトークンに分割され、各トークンはベクトルに対応付けられます。このクイズでは、BPE のようなサブワードのトークナイザーの仕組み、埋め込み(embedding)とは何か、そしてそれが LLM の意外な振る舞いをどう説明するのかを確認します。

ふつう 10問 約6分 合格ライン 80%

モードを選ぶ

ゲストとしてプレイ中です。ログインすると XP と連続記録が保存されます。

例題

第1問 / 全10問

最近の言語モデルの多くが、単語 1 つにつきトークン 1 つではなく、サブワードによるトークン化を使うのはなぜですか?

答えを見る

B. 固定サイズの語彙でも、珍しい単語や未知の単語を既知の部品に分割して表現できるから 単語単位の語彙は巨大になるうえ、新しい単語、タイプミス、固有名詞は依然として取りこぼします。サブワードなら語彙を扱いやすい大きさに保てます。よく使われる単語は 1 トークンのままで、珍しい単語は token + ization のような部品に分割されます。

このクイズの内容

  • サブワードによるトークン化が単語単位や文字単位より優れている理由
  • バイトペアエンコーディング(BPE)が語彙を作る方法
  • 学習された密なベクトルとしての埋め込みとコサイン類似度
  • 静的な埋め込みと文脈に応じた埋め込み
  • 文字数を数える問題や英語以外のテキストなど、トークンにまつわる癖

よくある質問

アカウントは必要ですか?

いいえ、誰でも遊べます。ログインすると XP、連続記録、バッジ、履歴が保存されます。

何度でも挑戦できますか?

はい。ベストスコアが記録され、問題と選択肢は毎回シャッフルされます。