Xavier와 He 가중치 초기화

문제

가중치가 처음부터 너무 크거나 작으면 깊은 신경망은 학습하기 어렵습니다. 두 가지 표준 방법은 레이어 크기로 스케일을 정합니다. fan_in은 입력 수, fan_out은 출력 수입니다.

method	반환값
`"xavier_uniform"`	한계 √(6 / (fan_in + fan_out)), 가중치는 [-한계, 한계]에서 뽑음
`"xavier_normal"`	표준편차 √(2 / (fan_in + fan_out))
`"he_uniform"`	한계 √(6 / fan_in)
`"he_normal"`	표준편차 √(2 / fan_in)

Xavier(Glorot)는 sigmoid와 tanh 레이어에, He는 ReLU 레이어에 적합합니다.

init_bound(method, fan_in, fan_out)를 구현하세요.

method: "xavier_uniform", "xavier_normal", "he_uniform", "he_normal" 중 하나.

fan_in, fan_out: 레이어의 입력 수와 출력 수.

한계 또는 표준편차를 실수로 반환하세요.

1 ≤ fan_in, fan_out ≤ 100,000

예시 1

입력:
fan_in = 3
method = "xavier_uniform"
fan_out = 3

예상 출력:
expected = 1.0

입력:
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

예상 출력:
double expected = 1.0;

입력:
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

예상 출력:
double expected = 1.0;

√(6 / (3 + 3)) = √1 = 1이므로 가중치는 [-1, 1]에서 뽑습니다.

예시 2

입력:
fan_in = 50
method = "he_normal"
fan_out = 10

예상 출력:
expected = 0.2

입력:
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

예상 출력:
double expected = 0.2;

입력:
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

예상 출력:
double expected = 0.2;

He는 fan_in만 사용합니다: √(2 / 50) = √0.04 = 0.2.

먼저 스스로 풀어 본 뒤 힌트를 하나씩 열어 보세요.

힌트 1

각 방법은 layer 크기와 bound 또는 spread가 필요한지만 보면 됩니다.

힌트 2

He 방법은 fan_in만, Xavier 방법은 fan_in과 fan_out을 사용하세요.

힌트 3

uniform과 normal 공식을 헷갈리지 마세요. 하나는 limit를, 다른 하나는 standard deviation을 반환합니다.

예상 복잡도

시간 O(1), 추가 공간 O(1)

이 문제는 CodeUtility에 맞게 수정되었습니다. 위의 설명과 제한 조건을 따르세요.