Problema
La normalizzazione di layer mantiene le attivazioni di ogni token su una scala stabile. Per ogni riga x della matrice:
- mean = Σ x / d e var = Σ (x - mean)² / d (varianza della popolazione sui d valori della riga)
- x̂ = (x - mean) / √(var + epsilon)
- output = gamma × x̂ + beta (elemento per elemento: la colonna j usa gamma[j] e beta[j])
Implementa layer_norm(x, gamma, beta, epsilon).
Input
x: Una matrice con una riga per token e d colonne.
gamma, beta: La scala e la traslazione apprese, d valori ciascuno.
epsilon: Un numero piccolo che evita la divisione per zero.
Output
Restituisci la matrice normalizzata, con la stessa forma di x.
Vincoli
1 ≤ righe ≤ 100, 1 ≤ d ≤ 128
-100 ≤ ogni valore ≤ 100, 0 < epsilon ≤ 0.001
Esempi
Input:
x = [
[1.0, 2.0, 3.0]
]
beta = [0.0, 0.0, 0.0]
gamma = [1.0, 1.0, 1.0]
epsilon = 1.0e-05
Output atteso:
expected = [
[-1.224736, 0.0, 1.224736]
]Input:
std::vector<std::vector<double>> x = {
{1.0, 2.0, 3.0}
};
std::vector<double> beta = {0.0, 0.0, 0.0};
std::vector<double> gamma = {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Output atteso:
std::vector<std::vector<double>> expected = {
{-1.224736, 0.0, 1.224736}
};Input:
double[][] x = new double[][] {
new double[] {1.0, 2.0, 3.0}
};
double[] beta = new double[] {0.0, 0.0, 0.0};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Output atteso:
double[][] expected = new double[][] {
new double[] {-1.224736, 0.0, 1.224736}
};Spiegazione
mean = 2 e var = (1 + 0 + 1) / 3 ≈ 0.666667, quindi √(var + epsilon) ≈ 0.816503. La riga diventa circa [-1.224736, 0, 1.224736]: centrata su 0 con varianza 1.
Input:
x = [
[5.0, 5.0]
]
beta = [1.0, -1.0]
gamma = [2.0, 3.0]
epsilon = 1.0e-05
Output atteso:
expected = [
[1.0, -1.0]
]Input:
std::vector<std::vector<double>> x = {
{5.0, 5.0}
};
std::vector<double> beta = {1.0, -1.0};
std::vector<double> gamma = {2.0, 3.0};
double epsilon = 1.0e-05;
Output atteso:
std::vector<std::vector<double>> expected = {
{1.0, -1.0}
};Input:
double[][] x = new double[][] {
new double[] {5.0, 5.0}
};
double[] beta = new double[] {1.0, -1.0};
double[] gamma = new double[] {2.0, 3.0};
double epsilon = 1.0e-05;
Output atteso:
double[][] expected = new double[][] {
new double[] {1.0, -1.0}
};Spiegazione
Entrambi i valori sono uguali alla media, quindi x̂ = [0, 0] e l'output è semplicemente beta: [1, -1]. Epsilon evita la divisione per zero.
Riferimenti
Questa sfida è adattata per CodeUtility. Segui la traccia e i vincoli sopra.