문제
레이어 정규화는 각 토큰의 활성값을 안정적인 스케일로 유지합니다. 행렬의 각 행 x에 대해:
- mean = Σ x / d, var = Σ (x - mean)² / d (행의 d개 값에 대한 모분산)
- x̂ = (x - mean) / √(var + epsilon)
- 출력 = gamma × x̂ + beta (원소별: 열 j는 gamma[j]와 beta[j]를 사용)
layer_norm(x, gamma, beta, epsilon)를 구현하세요.
입력
x: 토큰마다 한 행, d개의 열을 가진 행렬.
gamma, beta: 학습된 스케일과 이동, 각각 d개의 값.
epsilon: 0으로 나누는 것을 막는 작은 수.
출력
x와 같은 모양의 정규화된 행렬을 반환하세요.
제약 조건
1 ≤ 행 수 ≤ 100, 1 ≤ d ≤ 128
-100 ≤ 각 값 ≤ 100, 0 < epsilon ≤ 0.001
예시
입력:
x = [
[1.0, 2.0, 3.0]
]
beta = [0.0, 0.0, 0.0]
gamma = [1.0, 1.0, 1.0]
epsilon = 1.0e-05
예상 출력:
expected = [
[-1.224736, 0.0, 1.224736]
]입력:
std::vector<std::vector<double>> x = {
{1.0, 2.0, 3.0}
};
std::vector<double> beta = {0.0, 0.0, 0.0};
std::vector<double> gamma = {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
예상 출력:
std::vector<std::vector<double>> expected = {
{-1.224736, 0.0, 1.224736}
};입력:
double[][] x = new double[][] {
new double[] {1.0, 2.0, 3.0}
};
double[] beta = new double[] {0.0, 0.0, 0.0};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
예상 출력:
double[][] expected = new double[][] {
new double[] {-1.224736, 0.0, 1.224736}
};설명
mean = 2, var = (1 + 0 + 1) / 3 ≈ 0.666667이므로 √(var + epsilon) ≈ 0.816503입니다. 행은 약 [-1.224736, 0, 1.224736]이 됩니다: 중심이 0이고 분산이 1입니다.
입력:
x = [
[5.0, 5.0]
]
beta = [1.0, -1.0]
gamma = [2.0, 3.0]
epsilon = 1.0e-05
예상 출력:
expected = [
[1.0, -1.0]
]입력:
std::vector<std::vector<double>> x = {
{5.0, 5.0}
};
std::vector<double> beta = {1.0, -1.0};
std::vector<double> gamma = {2.0, 3.0};
double epsilon = 1.0e-05;
예상 출력:
std::vector<std::vector<double>> expected = {
{1.0, -1.0}
};입력:
double[][] x = new double[][] {
new double[] {5.0, 5.0}
};
double[] beta = new double[] {1.0, -1.0};
double[] gamma = new double[] {2.0, 3.0};
double epsilon = 1.0e-05;
예상 출력:
double[][] expected = new double[][] {
new double[] {1.0, -1.0}
};설명
두 값이 모두 평균과 같으므로 x̂ = [0, 0]이고 출력은 beta 그대로 [1, -1]입니다. epsilon이 0으로 나누는 것을 막습니다.
접근 방법
먼저 스스로 풀어 본 뒤 힌트를 하나씩 열어 보세요.
힌트 1
전체 matrix가 아니라, 각 row를 자기 자신의 mean과 variance로 따로 normalize하세요.
힌트 2
row를 standardize한 뒤, gamma와 beta를 써서 learned scale과 shift를 element-wise로 적용하세요.
힌트 3
population variance를 사용하고, constant row에서 division by zero를 막기 위해 square root 전에 epsilon을 더하세요.
예상 복잡도
시간 O(rows * d), 추가 공간 O(1)
참고 자료
이 문제는 CodeUtility에 맞게 수정되었습니다. 위의 설명과 제한 조건을 따르세요.