Initialisation des poids de Xavier et He

Des poids de départ trop grands ou trop petits rendent les réseaux profonds difficiles à entraîner. Deux méthodes standard choisissent l'échelle selon la taille de la couche, où fan_in est le nombre d'entrées et fan_out le nombre de sorties :

Xavier (Glorot) convient aux couches sigmoïde et tanh ; He convient aux couches ReLU.

Implémentez init_bound(method, fan_in, fan_out).

Entrée

method : l'une des valeurs "xavier_uniform", "xavier_normal", "he_uniform" ou "he_normal".

fan_in, fan_out : le nombre d'entrées et de sorties de la couche.

Sortie

Renvoyez la limite ou l'écart-type sous forme de nombre décimal.

Contraintes

1 ≤ fan_in, fan_out ≤ 100 000

Exemples

Entrée :
fan_in = 3
method = "xavier_uniform"
fan_out = 3

Sortie attendue :
expected = 1.0

Entrée :
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

Sortie attendue :
double expected = 1.0;

Entrée :
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

Sortie attendue :
double expected = 1.0;

Entrée :
fan_in = 50
method = "he_normal"
fan_out = 10

Sortie attendue :
expected = 0.2

Entrée :
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

Sortie attendue :
double expected = 0.2;

Entrée :
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

Sortie attendue :
double expected = 0.2;

Références

Ce défi a été adapté pour CodeUtility. Suivez l'énoncé et les contraintes ci-dessus.

• Glorot and Bengio, Understanding the difficulty of training deep feedforward neural networks
• He et al., Delving Deep into Rectifiers