- 実行ツール
-
学ぶ
Pythonを学ぶ 実行可能な例、NumPy、pandasなど AI・機械学習を学ぶニューラルネット・機械学習・LLM をゼロから C/C++を学ぶ ポインタ、メモリ、STL、モダンC++ C#を学ぶC# 基礎、OOP、LINQ、async、.NET 演習 Matplotlibを学ぶ折れ線・棒・散布図・円グラフをインタラクティブに Rust を学ぶ所有権、トレイト、エラー処理、スレッド Go を学ぶスライス、インターフェース、goroutine、チャネル Pythonアルゴリズム 探索、ソート、再帰、ビジュアライザー O(n) C/C++アルゴリズム CとC++の実装を比較 子ども向けプログラミング 遊びながらプログラミングを学ぼう!
- クイズNEW
- 課題一覧NEW
- 教師向けNEW
- アップデート
- コーヒーをおごる
AI & Machine Learning クイズ: トークン化と埋め込み
言語モデルが何かを読む前に、テキストはトークンに分割され、各トークンはベクトルに対応付けられます。このクイズでは、BPE のようなサブワードのトークナイザーの仕組み、埋め込み(embedding)とは何か、そしてそれが LLM の意外な振る舞いをどう説明するのかを確認します。
例題
第1問 / 全10問最近の言語モデルの多くが、単語 1 つにつきトークン 1 つではなく、サブワードによるトークン化を使うのはなぜですか?
答えを見る
B. 固定サイズの語彙でも、珍しい単語や未知の単語を既知の部品に分割して表現できるから 単語単位の語彙は巨大になるうえ、新しい単語、タイプミス、固有名詞は依然として取りこぼします。サブワードなら語彙を扱いやすい大きさに保てます。よく使われる単語は 1 トークンのままで、珍しい単語は token + ization のような部品に分割されます。
このクイズの内容
- サブワードによるトークン化が単語単位や文字単位より優れている理由
- バイトペアエンコーディング(BPE)が語彙を作る方法
- 学習された密なベクトルとしての埋め込みとコサイン類似度
- 静的な埋め込みと文脈に応じた埋め込み
- 文字数を数える問題や英語以外のテキストなど、トークンにまつわる癖
よくある質問
アカウントは必要ですか?
いいえ、誰でも遊べます。ログインすると XP、連続記録、バッジ、履歴が保存されます。
何度でも挑戦できますか?
はい。ベストスコアが記録され、問題と選択肢は毎回シャッフルされます。