문제
언어 모델은 미래의 단어를 엿보면 안 됩니다. 인과적 어텐션은 미래를 가립니다. 쿼리 행 i는 키 행 0부터 i까지만 볼 수 있습니다.
각 행 i에 대해 (queries, keys, values 모두 n행):
- 허용된 각 키 j ≤ i의 점수를 계산합니다: score = (queries[i] · keys[j]) / √d, 여기서 d는 keys의 열 수입니다.
- 허용된 점수에 대해서만 소프트맥스를 적용합니다 (e^x를 계산하기 전에 가장 큰 값을 뺍니다).
- 출력 행 i = j ≤ i에 대한 Σ weight_j × values[j].
causal_attention(queries, keys, values)를 구현하세요.
입력
queries, keys: n개의 행, 각 행은 d개의 숫자.
values: n개의 행, 각 행은 v개의 숫자.
출력
n × v 출력 행렬을 반환하세요.
제약 조건
1 ≤ n ≤ 50, 1 ≤ d, v ≤ 32
-10 ≤ 각 값 ≤ 10
예시
예시 1
입력:
keys = [
[1.0],
[2.0],
[3.0]
]
values = [
[3.0],
[6.0],
[9.0]
]
queries = [
[0.0],
[0.0],
[0.0]
]
예상 출력:
expected = [
[3.0],
[4.5],
[6.0]
]입력:
std::vector<std::vector<double>> keys = {
{1.0},
{2.0},
{3.0}
};
std::vector<std::vector<double>> values = {
{3.0},
{6.0},
{9.0}
};
std::vector<std::vector<double>> queries = {
{0.0},
{0.0},
{0.0}
};
예상 출력:
std::vector<std::vector<double>> expected = {
{3.0},
{4.5},
{6.0}
};입력:
double[][] keys = new double[][] {
new double[] {1.0},
new double[] {2.0},
new double[] {3.0}
};
double[][] values = new double[][] {
new double[] {3.0},
new double[] {6.0},
new double[] {9.0}
};
double[][] queries = new double[][] {
new double[] {0.0},
new double[] {0.0},
new double[] {0.0}
};
예상 출력:
double[][] expected = new double[][] {
new double[] {3.0},
new double[] {4.5},
new double[] {6.0}
};설명
모든 점수가 0이므로 각 행은 볼 수 있는 값들의 평균입니다: 행 0은 3만, 행 1은 3과 6의 평균(4.5), 행 2는 세 값 모두의 평균(6)입니다.
예시 2
입력:
keys = [
[1.0, 0.0],
[1.0, 0.0]
]
values = [
[1.0, 2.0],
[3.0, 4.0]
]
queries = [
[1.0, 0.0],
[1.0, 0.0]
]
예상 출력:
expected = [
[1.0, 2.0],
[2.0, 3.0]
]입력:
std::vector<std::vector<double>> keys = {
{1.0, 0.0},
{1.0, 0.0}
};
std::vector<std::vector<double>> values = {
{1.0, 2.0},
{3.0, 4.0}
};
std::vector<std::vector<double>> queries = {
{1.0, 0.0},
{1.0, 0.0}
};
예상 출력:
std::vector<std::vector<double>> expected = {
{1.0, 2.0},
{2.0, 3.0}
};입력:
double[][] keys = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
new double[] {1.0, 2.0},
new double[] {3.0, 4.0}
};
double[][] queries = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
예상 출력:
double[][] expected = new double[][] {
new double[] {1.0, 2.0},
new double[] {2.0, 3.0}
};설명
행 0은 자기 자신만 볼 수 있으므로 values[0] = [1, 2]를 그대로 복사합니다. 행 1은 두 키에 같은 점수를 주므로 평균인 [2, 3]이 됩니다.
참고 자료
이 문제는 CodeUtility에 맞게 수정되었습니다. 위의 설명과 제한 조건을 따르세요.