Xavier と He の重み初期化

Xavier と He の重み初期化

層の重みを初期化するときに使う範囲または標準偏差を計算します。

このチャレンジで学べること

重みが最初から大きすぎたり小さすぎたりすると、深いネットワークは学習しにくくなります。2つの標準的な方法は、層のサイズからスケールを決めます。fan_in は入力数、fan_out は出力数です。

Xavier（Glorot）は sigmoid や tanh の層に、He は ReLU の層に向いています。

init_bound(method, fan_in, fan_out) を実装してください。

method: "xavier_uniform"、"xavier_normal"、"he_uniform"、"he_normal" のいずれか。

fan_in, fan_out: 層の入力数と出力数。

上限または標準偏差を小数で返してください。

1 ≤ fan_in, fan_out ≤ 100,000

例 1

入力：
fan_in = 3
method = "xavier_uniform"
fan_out = 3

期待される出力：
expected = 1.0

入力：
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

期待される出力：
double expected = 1.0;

入力：
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

期待される出力：
double expected = 1.0;

√(6 / (3 + 3)) = √1 = 1 なので、重みは [-1, 1] から取ります。

例 2

入力：
fan_in = 50
method = "he_normal"
fan_out = 10

期待される出力：
expected = 0.2

入力：
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

期待される出力：
double expected = 0.2;

入力：
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

期待される出力：
double expected = 0.2;

He は fan_in だけを使います：√(2 / 50) = √0.04 = 0.2。

まずは自分で考えてから、ヒントを 1 つずつ開いてみましょう。

ヒント 1

各手法は層サイズと、上限が必要か広がりが必要かだけに依存します。

ヒント 2

He 系は fan_in のみ、Xavier 系は fan_in と fan_out の両方を使います。

ヒント 3

uniform と normal の式を混同しないでください。前者は limit、後者は標準偏差を返します。

目安の計算量

時間 O(1)、追加メモリ O(1)

この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。