การกำหนดน้ำหนักเริ่มต้นแบบ Xavier และ He

น้ำหนักเริ่มต้นที่ใหญ่หรือเล็กเกินไปทำให้ฝึกโครงข่ายลึกได้ยาก สองวิธีมาตรฐานเลือกสเกลจากขนาดของเลเยอร์ โดย fan_in คือจำนวนอินพุตและ fan_out คือจำนวนเอาต์พุต:

Xavier (Glorot) เหมาะกับเลเยอร์ sigmoid และ tanh ส่วน He เหมาะกับเลเยอร์ ReLU

จงเขียน init_bound(method, fan_in, fan_out)

อินพุต

method: หนึ่งใน "xavier_uniform", "xavier_normal", "he_uniform" หรือ "he_normal"

fan_in, fan_out: จำนวนอินพุตและเอาต์พุตของเลเยอร์

เอาต์พุต

คืนค่าขอบเขตหรือส่วนเบี่ยงเบนมาตรฐานเป็นเลขทศนิยม

เงื่อนไข

1 ≤ fan_in, fan_out ≤ 100,000

ตัวอย่าง

อินพุต:
fan_in = 3
method = "xavier_uniform"
fan_out = 3

ผลลัพธ์ที่คาดหวัง:
expected = 1.0

อินพุต:
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

ผลลัพธ์ที่คาดหวัง:
double expected = 1.0;

อินพุต:
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

ผลลัพธ์ที่คาดหวัง:
double expected = 1.0;

อินพุต:
fan_in = 50
method = "he_normal"
fan_out = 10

ผลลัพธ์ที่คาดหวัง:
expected = 0.2

อินพุต:
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

ผลลัพธ์ที่คาดหวัง:
double expected = 0.2;

อินพุต:
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

ผลลัพธ์ที่คาดหวัง:
double expected = 0.2;

แหล่งอ้างอิง

โจทย์นี้ปรับให้เหมาะกับ CodeUtility กรุณาทำตามคำชี้แจงและข้อจำกัดด้านบน

• Glorot and Bengio, Understanding the difficulty of training deep feedforward neural networks
• He et al., Delving Deep into Rectifiers