- 実行ツール
-
学ぶ
Pythonを学ぶ 実行可能な例、NumPy、pandasなど AI・機械学習を学ぶニューラルネット・機械学習・LLM をゼロから C/C++を学ぶ ポインタ、メモリ、STL、モダンC++ C#を学ぶC# 基礎、OOP、LINQ、async、.NET 演習 Matplotlibを学ぶ折れ線・棒・散布図・円グラフをインタラクティブに Rust を学ぶ所有権、トレイト、エラー処理、スレッド Go を学ぶスライス、インターフェース、goroutine、チャネル Pythonアルゴリズム 探索、ソート、再帰、ビジュアライザー O(n) C/C++アルゴリズム CとC++の実装を比較 子ども向けプログラミング 遊びながらプログラミングを学ぼう!
- クイズNEW
- 課題一覧NEW
- 教師向けNEW
- アップデート
- コーヒーをおごる
AI & Machine Learning クイズ: Attention 機構
Attention は、各トークンが系列内のほかのトークンから情報を取り込めるようにする仕組みです。この難しめのクイズでは、クエリ、キー、バリューの役割からマスク、計算コスト、実際に何が学習されるのかまで、Scaled Dot-Product Attention を詳しく理解しているかを確認します。
例題
第1問 / 全10問Self-Attention におけるクエリ、キー、バリューの説明として正しいのはどれですか?
答えを見る
C. クエリはトークンが探しているもの、キーは各トークンが照合の対象として差し出すもの、バリューは出力に混ぜ込まれる中身である 各トークンのクエリはすべてのキーと比較されてスコアになり、ソフトマックスを通したスコアでバリューが重み付けされます。3 つとも同じ入力から作られますが、学習された別々の射影を通るので、異なる役割を果たします。
このクイズの内容
- クエリ、キー、バリューの役割
- 公式
softmax(QK^T / sqrt(d_k)) V - スコアをキーの次元の平方根で割る理由
- ソフトマックスの前に負の無限大でマスクする方法
- Self-Attention の二次の計算コストと、順序の入れ替えに対する振る舞い
よくある質問
アカウントは必要ですか?
いいえ、誰でも遊べます。ログインすると XP、連続記録、バッジ、履歴が保存されます。
何度でも挑戦できますか?
はい。ベストスコアが記録され、問題と選択肢は毎回シャッフルされます。