문제
어텐션은 시퀀스의 각 위치가 다른 모든 위치를 보고 그 정보를 섞을 수 있게 해 줍니다. 대규모 언어 모델이 사용하는 트랜스포머 아키텍처의 핵심입니다.
Attention(Q, K, V) = softmax(Q × Kᵀ / √d) × V
각 쿼리 행 q에 대해:
- 각 키 행 k의 점수를 계산합니다: score = (q · k) / √d, 여기서 d는 K의 열 수입니다.
- 소프트맥스로 점수를 가중치로 바꿉니다 (e^x를 계산하기 전에 가장 큰 점수를 뺍니다).
- 출력 행은 값 행들의 가중합입니다: Σ weight_j × values[j].
attention(queries, keys, values)를 구현하세요.
입력
queries: n개의 행, 각 행은 d개의 숫자.
keys: m개의 행, 각 행은 d개의 숫자.
values: m개의 행(키마다 한 행), 각 행은 v개의 숫자.
출력
n × v 출력 행렬을 반환하세요.
제약 조건
1 ≤ n, m ≤ 50, 1 ≤ d, v ≤ 32
-10 ≤ 각 값 ≤ 10
예시
예시 1
입력:
keys = [
[1.0, 0.0],
[1.0, 0.0]
]
values = [
[2.0, 4.0],
[6.0, 8.0]
]
queries = [
[1.0, 0.0]
]
예상 출력:
expected = [
[4.0, 6.0]
]입력:
std::vector<std::vector<double>> keys = {
{1.0, 0.0},
{1.0, 0.0}
};
std::vector<std::vector<double>> values = {
{2.0, 4.0},
{6.0, 8.0}
};
std::vector<std::vector<double>> queries = {
{1.0, 0.0}
};
예상 출력:
std::vector<std::vector<double>> expected = {
{4.0, 6.0}
};입력:
double[][] keys = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
new double[] {2.0, 4.0},
new double[] {6.0, 8.0}
};
double[][] queries = new double[][] {
new double[] {1.0, 0.0}
};
예상 출력:
double[][] expected = new double[][] {
new double[] {4.0, 6.0}
};설명
두 키의 점수가 같으므로 소프트맥스 가중치는 0.5와 0.5입니다. 출력은 값 행들의 평균입니다: [(2 + 6) / 2, (4 + 8) / 2] = [4, 6].
예시 2
입력:
keys = [
[3.0, 1.0],
[-2.0, 5.0],
[7.0, 7.0]
]
values = [
[1.0],
[2.0],
[6.0]
]
queries = [
[0.0, 0.0]
]
예상 출력:
expected = [
[3.0]
]입력:
std::vector<std::vector<double>> keys = {
{3.0, 1.0},
{-2.0, 5.0},
{7.0, 7.0}
};
std::vector<std::vector<double>> values = {
{1.0},
{2.0},
{6.0}
};
std::vector<std::vector<double>> queries = {
{0.0, 0.0}
};
예상 출력:
std::vector<std::vector<double>> expected = {
{3.0}
};입력:
double[][] keys = new double[][] {
new double[] {3.0, 1.0},
new double[] {-2.0, 5.0},
new double[] {7.0, 7.0}
};
double[][] values = new double[][] {
new double[] {1.0},
new double[] {2.0},
new double[] {6.0}
};
double[][] queries = new double[][] {
new double[] {0.0, 0.0}
};
예상 출력:
double[][] expected = new double[][] {
new double[] {3.0}
};설명
0인 쿼리는 모든 키에 대해 점수가 0이므로 어텐션이 고르게 나뉩니다: (1 + 2 + 6) / 3 = 3.
참고 자료
이 문제는 CodeUtility에 맞게 수정되었습니다. 위의 설명과 제한 조건을 따르세요.