Đề bài
A language model must not peek at future words. Causal attention masks the future: query row i may only attend to key rows 0 to i.
For each row i (queries, keys and values all have n rows):
- Score each allowed key j ≤ i: score = (queries[i] · keys[j]) / √d, where d is the number of columns of keys.
- Apply softmax over those allowed scores only (subtract the largest before taking e^x).
- Output row i = Σ weight_j × values[j] over j ≤ i.
Implement causal_attention(queries, keys, values).
Input
queries, keys: n rows of d numbers each.
values: n rows of v numbers each.
Output
Return the n × v output matrix.
Ràng buộc
1 ≤ n ≤ 50, 1 ≤ d, v ≤ 32
-10 ≤ each value ≤ 10
Ví dụ
Ví dụ 1
Đầu vào:
keys = [
[1.0],
[2.0],
[3.0]
]
values = [
[3.0],
[6.0],
[9.0]
]
queries = [
[0.0],
[0.0],
[0.0]
]
Kết quả mong đợi:
expected = [
[3.0],
[4.5],
[6.0]
]Đầu vào:
std::vector<std::vector<double>> keys = {
{1.0},
{2.0},
{3.0}
};
std::vector<std::vector<double>> values = {
{3.0},
{6.0},
{9.0}
};
std::vector<std::vector<double>> queries = {
{0.0},
{0.0},
{0.0}
};
Kết quả mong đợi:
std::vector<std::vector<double>> expected = {
{3.0},
{4.5},
{6.0}
};Đầu vào:
double[][] keys = new double[][] {
new double[] {1.0},
new double[] {2.0},
new double[] {3.0}
};
double[][] values = new double[][] {
new double[] {3.0},
new double[] {6.0},
new double[] {9.0}
};
double[][] queries = new double[][] {
new double[] {0.0},
new double[] {0.0},
new double[] {0.0}
};
Kết quả mong đợi:
double[][] expected = new double[][] {
new double[] {3.0},
new double[] {4.5},
new double[] {6.0}
};Giải thích
All scores are 0, so each row averages the values it may see: row 0 sees only 3, row 1 averages 3 and 6 (4.5), row 2 averages all three (6).
Ví dụ 2
Đầu vào:
keys = [
[1.0, 0.0],
[1.0, 0.0]
]
values = [
[1.0, 2.0],
[3.0, 4.0]
]
queries = [
[1.0, 0.0],
[1.0, 0.0]
]
Kết quả mong đợi:
expected = [
[1.0, 2.0],
[2.0, 3.0]
]Đầu vào:
std::vector<std::vector<double>> keys = {
{1.0, 0.0},
{1.0, 0.0}
};
std::vector<std::vector<double>> values = {
{1.0, 2.0},
{3.0, 4.0}
};
std::vector<std::vector<double>> queries = {
{1.0, 0.0},
{1.0, 0.0}
};
Kết quả mong đợi:
std::vector<std::vector<double>> expected = {
{1.0, 2.0},
{2.0, 3.0}
};Đầu vào:
double[][] keys = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
new double[] {1.0, 2.0},
new double[] {3.0, 4.0}
};
double[][] queries = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
Kết quả mong đợi:
double[][] expected = new double[][] {
new double[] {1.0, 2.0},
new double[] {2.0, 3.0}
};Giải thích
Row 0 can only see itself, so it copies values[0] = [1, 2]. Row 1 gives both keys the same score, so it averages them: [2, 3].
Tham khảo
Thử thách này đã được điều chỉnh cho CodeUtility. Hãy làm theo đề bài và các ràng buộc ở trên.