AI & Machine Learning クイズ: Attention 機構

Attention は、各トークンが系列内のほかのトークンから情報を取り込めるようにする仕組みです。この難しめのクイズでは、クエリ、キー、バリューの役割からマスク、計算コスト、実際に何が学習されるのかまで、Scaled Dot-Product Attention を詳しく理解しているかを確認します。

むずかしい 10問 約8分 合格ライン 80%

モードを選ぶ

ゲストとしてプレイ中です。ログインすると XP と連続記録が保存されます。

例題

第1問 / 全10問

Self-Attention におけるクエリ、キー、バリューの説明として正しいのはどれですか?

答えを見る

C. クエリはトークンが探しているもの、キーは各トークンが照合の対象として差し出すもの、バリューは出力に混ぜ込まれる中身である 各トークンのクエリはすべてのキーと比較されてスコアになり、ソフトマックスを通したスコアでバリューが重み付けされます。3 つとも同じ入力から作られますが、学習された別々の射影を通るので、異なる役割を果たします。

このクイズの内容

  • クエリ、キー、バリューの役割
  • 公式 softmax(QK^T / sqrt(d_k)) V
  • スコアをキーの次元の平方根で割る理由
  • ソフトマックスの前に負の無限大でマスクする方法
  • Self-Attention の二次の計算コストと、順序の入れ替えに対する振る舞い

よくある質問

アカウントは必要ですか?

いいえ、誰でも遊べます。ログインすると XP、連続記録、バッジ、履歴が保存されます。

何度でも挑戦できますか?

はい。ベストスコアが記録され、問題と選択肢は毎回シャッフルされます。