Problème
La normalisation de couche garde les activations de chaque token à une échelle stable. Pour chaque ligne x de la matrice :
- mean = Σ x / d et var = Σ (x - mean)² / d (variance de population sur les d valeurs de la ligne)
- x̂ = (x - mean) / √(var + epsilon)
- sortie = gamma × x̂ + beta (élément par élément : la colonne j utilise gamma[j] et beta[j])
Implémentez layer_norm(x, gamma, beta, epsilon).
Entrée
x : Une matrice avec une ligne par token et d colonnes.
gamma, beta : L'échelle et le décalage appris, d valeurs chacun.
epsilon : Un petit nombre qui évite la division par zéro.
Sortie
Renvoyez la matrice normalisée, de même forme que x.
Contraintes
1 ≤ lignes ≤ 100, 1 ≤ d ≤ 128
-100 ≤ chaque valeur ≤ 100, 0 < epsilon ≤ 0.001
Exemples
Entrée :
x = [
[1.0, 2.0, 3.0]
]
beta = [0.0, 0.0, 0.0]
gamma = [1.0, 1.0, 1.0]
epsilon = 1.0e-05
Sortie attendue :
expected = [
[-1.224736, 0.0, 1.224736]
]Entrée :
std::vector<std::vector<double>> x = {
{1.0, 2.0, 3.0}
};
std::vector<double> beta = {0.0, 0.0, 0.0};
std::vector<double> gamma = {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Sortie attendue :
std::vector<std::vector<double>> expected = {
{-1.224736, 0.0, 1.224736}
};Entrée :
double[][] x = new double[][] {
new double[] {1.0, 2.0, 3.0}
};
double[] beta = new double[] {0.0, 0.0, 0.0};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Sortie attendue :
double[][] expected = new double[][] {
new double[] {-1.224736, 0.0, 1.224736}
};Explication
mean = 2 et var = (1 + 0 + 1) / 3 ≈ 0.666667, donc √(var + epsilon) ≈ 0.816503. La ligne devient environ [-1.224736, 0, 1.224736] : centrée sur 0 avec une variance de 1.
Entrée :
x = [
[5.0, 5.0]
]
beta = [1.0, -1.0]
gamma = [2.0, 3.0]
epsilon = 1.0e-05
Sortie attendue :
expected = [
[1.0, -1.0]
]Entrée :
std::vector<std::vector<double>> x = {
{5.0, 5.0}
};
std::vector<double> beta = {1.0, -1.0};
std::vector<double> gamma = {2.0, 3.0};
double epsilon = 1.0e-05;
Sortie attendue :
std::vector<std::vector<double>> expected = {
{1.0, -1.0}
};Entrée :
double[][] x = new double[][] {
new double[] {5.0, 5.0}
};
double[] beta = new double[] {1.0, -1.0};
double[] gamma = new double[] {2.0, 3.0};
double epsilon = 1.0e-05;
Sortie attendue :
double[][] expected = new double[][] {
new double[] {1.0, -1.0}
};Explication
Les deux valeurs sont égales à la moyenne, donc x̂ = [0, 0] et la sortie est simplement beta : [1, -1]. Epsilon évite la division par zéro.
Comment l'aborder
Essayez d'abord seul, puis ouvrez les indices un par un.
Indice 1
Normalise chaque ligne indépendamment avec sa propre moyenne et variance, pas avec des statistiques sur toute la matrice.
Indice 2
Après standardisation d’une ligne, applique le scale et le shift appris élément par élément avec gamma et beta.
Indice 3
Utilise la variance de population et ajoute epsilon avant la racine carrée pour éviter une division par zéro sur les lignes constantes.
Complexité attendue
temps O(rows * d), espace supplémentaire O(1)
Références
Ce défi a été adapté pour CodeUtility. Suivez l'énoncé et les contraintes ci-dessus.