Xavier と He の重み初期化プログラミングチャレンジ

Xavier と He の重み初期化

層の重みを初期化するときに使う範囲または標準偏差を計算します。

このチャレンジで学べること

重みが最初から大きすぎたり小さすぎたりすると、深いネットワークは学習しにくくなります。2つの標準的な方法は、層のサイズからスケールを決めます。fan_in は入力数、fan_out は出力数です。

Xavier（Glorot）は sigmoid や tanh の層に、He は ReLU の層に向いています。

init_bound(method, fan_in, fan_out) を実装してください。

method: "xavier_uniform"、"xavier_normal"、"he_uniform"、"he_normal" のいずれか。

fan_in, fan_out: 層の入力数と出力数。

上限または標準偏差を小数で返してください。

1 ≤ fan_in, fan_out ≤ 100,000

例 1

入力：
fan_in = 3
method = "xavier_uniform"
fan_out = 3

期待される出力：
expected = 1.0

入力：
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

期待される出力：
double expected = 1.0;

入力：
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

期待される出力：
double expected = 1.0;

√(6 / (3 + 3)) = √1 = 1 なので、重みは [-1, 1] から取ります。

例 2

入力：
fan_in = 50
method = "he_normal"
fan_out = 10

期待される出力：
expected = 0.2

入力：
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

期待される出力：
double expected = 0.2;

入力：
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

期待される出力：
double expected = 0.2;

He は fan_in だけを使います：√(2 / 50) = √0.04 = 0.2。

この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。