Xavier와 He 가중치 초기화

가중치가 처음부터 너무 크거나 작으면 깊은 신경망은 학습하기 어렵습니다. 두 가지 표준 방법은 레이어 크기로 스케일을 정합니다. fan_in은 입력 수, fan_out은 출력 수입니다.

Xavier(Glorot)는 sigmoid와 tanh 레이어에, He는 ReLU 레이어에 적합합니다.

init_bound(method, fan_in, fan_out)를 구현하세요.

입력

method: "xavier_uniform", "xavier_normal", "he_uniform", "he_normal" 중 하나.

fan_in, fan_out: 레이어의 입력 수와 출력 수.

출력

한계 또는 표준편차를 실수로 반환하세요.

제약 조건

1 ≤ fan_in, fan_out ≤ 100,000

예시

입력:
fan_in = 3
method = "xavier_uniform"
fan_out = 3

예상 출력:
expected = 1.0

입력:
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

예상 출력:
double expected = 1.0;

입력:
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

예상 출력:
double expected = 1.0;

입력:
fan_in = 50
method = "he_normal"
fan_out = 10

예상 출력:
expected = 0.2

입력:
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

예상 출력:
double expected = 0.2;

입력:
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

예상 출력:
double expected = 0.2;

참고 자료

이 문제는 CodeUtility에 맞게 수정되었습니다. 위의 설명과 제한 조건을 따르세요.

• Glorot and Bengio, Understanding the difficulty of training deep feedforward neural networks
• He et al., Delving Deep into Rectifiers