AI & Machine Learning クイズ: Transformer のアーキテクチャ

Transformer は、現代の言語モデルを支えるアーキテクチャです。この難しめの面接形式のクイズでは、エンコーダーのみ・デコーダーのみのモデルから、位置エンコーディング、因果マスク、Multi-Head Attention、そしてその周りのブロックまで、各部品がどう組み合わさっているかを確認します。

むずかしい 10問 約8分 合格ライン 80%

モードを選ぶ

ゲストとしてプレイ中です。ログインすると XP と連続記録が保存されます。

例題

第1問 / 全10問

モデルの系統とアーキテクチャの組み合わせとして正しいのはどれですか?

答えを見る

C. BERT はエンコーダーのみ、GPT 系のモデルはデコーダーのみ BERT は入力全体を双方向に見るエンコーダーブロックを重ねたもので、理解系のタスクに向いています。GPT 系のモデルは因果マスク付きのデコーダーブロックを重ねたもので、左から右へテキストを生成するのに向いています。翻訳用の元祖 Transformer は両方を使っていました。

このクイズの内容

  • エンコーダーのみ、デコーダーのみ、エンコーダー・デコーダー型のモデル
  • 回転位置埋め込み(RoPE)を含む位置エンコーディング
  • 因果マスクと、学習を並列に実行できる理由
  • Multi-Head Attention とヘッドのサイズ
  • 残差接続、Layer Normalization、フィードフォワードブロック

よくある質問

アカウントは必要ですか?

いいえ、誰でも遊べます。ログインすると XP、連続記録、バッジ、履歴が保存されます。

何度でも挑戦できますか?

はい。ベストスコアが記録され、問題と選択肢は毎回シャッフルされます。