AI & Machine Learning クイズ: LLM がテキストを生成する仕組み

大規模言語モデルは、語彙全体にわたる確率分布から 1 つずつ選びながら、1 トークンずつ文章を書いていきます。このクイズでは、そのループの仕組み、コンテキストウィンドウが何を制限するのか、実行ごとに答えが変わる理由、そしてチャットモデルがベースモデルと異なる振る舞いをする理由を確認します。

ふつう 10問 約6分 合格ライン 80%

モードを選ぶ

ゲストとしてプレイ中です。ログインすると XP と連続記録が保存されます。

例題

第1問 / 全10問

GPT 系の言語モデルの、事前学習の中心となる目的は何ですか?

答えを見る

B. それまでのすべてのトークンから、次のトークンを予測する 事前学習は膨大なテキストに対する次のトークンの予測で、損失はモデルが実際の次のトークンにどれだけの確率を割り当てたかを測ります。質問への回答も含め、ほかのすべてはこの能力の上に成り立っています。

このクイズの内容

  • 次のトークンの予測と自己回帰のループ
  • ロジット、ソフトマックス、語彙全体にわたる確率
  • 貪欲デコーディングとサンプリング
  • コンテキストウィンドウ、ステートレス性、出力の上限
  • KV キャッシュと、ベースモデルと指示チューニング済みモデルの違い

よくある質問

アカウントは必要ですか?

いいえ、誰でも遊べます。ログインすると XP、連続記録、バッジ、履歴が保存されます。

何度でも挑戦できますか?

はい。ベストスコアが記録され、問題と選択肢は毎回シャッフルされます。