問題
アテンションは、系列の各位置が他のすべての位置を見て、その情報を混ぜ合わせる仕組みです。大規模言語モデルが使う Transformer アーキテクチャの中核です。
Attention(Q, K, V) = softmax(Q × Kᵀ / √d) × V
各クエリ行 q について：
- 各キー行 k のスコアを計算します：score = (q · k) / √d。d は K の列数です。
- ソフトマックスでスコアを重みに変換します（e^x を計算する前に最大スコアを引きます）。
- 出力行は、値の行の重み付き和です：Σ weight_j × values[j]。
attention(queries, keys, values) を実装してください。
入力
queries: n 行、各行 d 個の数。
keys: m 行、各行 d 個の数。
values: m 行（キーごとに1行）、各行 v 個の数。
出力
n × v の出力行列を返してください。
制約
1 ≤ n, m ≤ 50、1 ≤ d, v ≤ 32
-10 ≤ 各値 ≤ 10
例
例 1
入力：
keys = [
[1.0, 0.0],
[1.0, 0.0]
]
values = [
[2.0, 4.0],
[6.0, 8.0]
]
queries = [
[1.0, 0.0]
]
期待される出力：
expected = [
[4.0, 6.0]
]入力：
std::vector<std::vector<double>> keys = {
{1.0, 0.0},
{1.0, 0.0}
};
std::vector<std::vector<double>> values = {
{2.0, 4.0},
{6.0, 8.0}
};
std::vector<std::vector<double>> queries = {
{1.0, 0.0}
};
期待される出力：
std::vector<std::vector<double>> expected = {
{4.0, 6.0}
};入力：
double[][] keys = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
new double[] {2.0, 4.0},
new double[] {6.0, 8.0}
};
double[][] queries = new double[][] {
new double[] {1.0, 0.0}
};
期待される出力：
double[][] expected = new double[][] {
new double[] {4.0, 6.0}
};解説
2つのキーは同じスコアなので、ソフトマックスの重みは 0.5 と 0.5 です。出力は値の行の平均で、[(2 + 6) / 2, (4 + 8) / 2] = [4, 6] です。
例 2
入力：
keys = [
[3.0, 1.0],
[-2.0, 5.0],
[7.0, 7.0]
]
values = [
[1.0],
[2.0],
[6.0]
]
queries = [
[0.0, 0.0]
]
期待される出力：
expected = [
[3.0]
]入力：
std::vector<std::vector<double>> keys = {
{3.0, 1.0},
{-2.0, 5.0},
{7.0, 7.0}
};
std::vector<std::vector<double>> values = {
{1.0},
{2.0},
{6.0}
};
std::vector<std::vector<double>> queries = {
{0.0, 0.0}
};
期待される出力：
std::vector<std::vector<double>> expected = {
{3.0}
};入力：
double[][] keys = new double[][] {
new double[] {3.0, 1.0},
new double[] {-2.0, 5.0},
new double[] {7.0, 7.0}
};
double[][] values = new double[][] {
new double[] {1.0},
new double[] {2.0},
new double[] {6.0}
};
double[][] queries = new double[][] {
new double[] {0.0, 0.0}
};
期待される出力：
double[][] expected = new double[][] {
new double[] {3.0}
};解説
ゼロのクエリはどのキーに対してもスコアが 0 なので、アテンションは均等に分かれます：(1 + 2 + 6) / 3 = 3。
参考資料
この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。