Xavier and He Weight Initialization

Weights that start too big or too small make deep networks hard to train. Two standard schemes pick the scale from the layer size, where fan_in is the number of inputs and fan_out the number of outputs:

Xavier (Glorot) suits sigmoid and tanh layers; He suits ReLU layers.

Implement init_bound(method, fan_in, fan_out).

Input

method: One of "xavier_uniform", "xavier_normal", "he_uniform" or "he_normal".

fan_in, fan_out: The layer's number of inputs and outputs.

Output

Return the limit or standard deviation as a decimal number.

เงื่อนไข

1 ≤ fan_in, fan_out ≤ 100,000

ตัวอย่าง

อินพุต:
fan_in = 3
method = "xavier_uniform"
fan_out = 3

ผลลัพธ์ที่คาดหวัง:
expected = 1.0

อินพุต:
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

ผลลัพธ์ที่คาดหวัง:
double expected = 1.0;

อินพุต:
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

ผลลัพธ์ที่คาดหวัง:
double expected = 1.0;

อินพุต:
fan_in = 50
method = "he_normal"
fan_out = 10

ผลลัพธ์ที่คาดหวัง:
expected = 0.2

อินพุต:
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

ผลลัพธ์ที่คาดหวัง:
double expected = 0.2;

อินพุต:
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

ผลลัพธ์ที่คาดหวัง:
double expected = 0.2;

แหล่งอ้างอิง

โจทย์นี้ปรับให้เหมาะกับ CodeUtility กรุณาทำตามคำชี้แจงและข้อจำกัดด้านบน

• Glorot and Bengio, Understanding the difficulty of training deep feedforward neural networks
• He et al., Delving Deep into Rectifiers