Inicialização de pesos Xavier e He

Pesos iniciais grandes ou pequenos demais dificultam o treinamento de redes profundas. Dois métodos padrão escolhem a escala pelo tamanho da camada, onde fan_in é o número de entradas e fan_out o número de saídas:

Xavier (Glorot) é adequado para camadas sigmoide e tanh; He, para camadas ReLU.

Implemente init_bound(method, fan_in, fan_out).

Entrada

method: Um de "xavier_uniform", "xavier_normal", "he_uniform" ou "he_normal".

fan_in, fan_out: O número de entradas e saídas da camada.

Saída

Retorne o limite ou o desvio padrão como número decimal.

Restrições

1 ≤ fan_in, fan_out ≤ 100.000

Exemplos

Entrada:
fan_in = 3
method = "xavier_uniform"
fan_out = 3

Saída esperada:
expected = 1.0

Entrada:
long long fan_in = 3;
std::string method = "xavier_uniform";
long long fan_out = 3;

Saída esperada:
double expected = 1.0;

Entrada:
long fan_in = 3;
string method = "xavier_uniform";
long fan_out = 3;

Saída esperada:
double expected = 1.0;

Entrada:
fan_in = 50
method = "he_normal"
fan_out = 10

Saída esperada:
expected = 0.2

Entrada:
long long fan_in = 50;
std::string method = "he_normal";
long long fan_out = 10;

Saída esperada:
double expected = 0.2;

Entrada:
long fan_in = 50;
string method = "he_normal";
long fan_out = 10;

Saída esperada:
double expected = 0.2;

Referências

Este desafio foi adaptado para o CodeUtility. Siga o enunciado e as restrições acima.

• Glorot and Bengio, Understanding the difficulty of training deep feedforward neural networks
• He et al., Delving Deep into Rectifiers