Problema
La normalización de capa mantiene las activaciones de cada token en una escala estable. Para cada fila x de la matriz:
- mean = Σ x / d y var = Σ (x - mean)² / d (varianza poblacional sobre los d valores de la fila)
- x̂ = (x - mean) / √(var + epsilon)
- salida = gamma × x̂ + beta (elemento a elemento: la columna j usa gamma[j] y beta[j])
Implementa layer_norm(x, gamma, beta, epsilon).
Entrada
x: Una matriz con una fila por token y d columnas.
gamma, beta: La escala y el desplazamiento aprendidos, d valores cada uno.
epsilon: Un número pequeño que evita la división por cero.
Salida
Devuelve la matriz normalizada, con la misma forma que x.
Restricciones
1 ≤ filas ≤ 100, 1 ≤ d ≤ 128
-100 ≤ cada valor ≤ 100, 0 < epsilon ≤ 0.001
Ejemplos
Entrada:
x = [
[1.0, 2.0, 3.0]
]
beta = [0.0, 0.0, 0.0]
gamma = [1.0, 1.0, 1.0]
epsilon = 1.0e-05
Salida esperada:
expected = [
[-1.224736, 0.0, 1.224736]
]Entrada:
std::vector<std::vector<double>> x = {
{1.0, 2.0, 3.0}
};
std::vector<double> beta = {0.0, 0.0, 0.0};
std::vector<double> gamma = {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Salida esperada:
std::vector<std::vector<double>> expected = {
{-1.224736, 0.0, 1.224736}
};Entrada:
double[][] x = new double[][] {
new double[] {1.0, 2.0, 3.0}
};
double[] beta = new double[] {0.0, 0.0, 0.0};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Salida esperada:
double[][] expected = new double[][] {
new double[] {-1.224736, 0.0, 1.224736}
};Explicación
mean = 2 y var = (1 + 0 + 1) / 3 ≈ 0.666667, así que √(var + epsilon) ≈ 0.816503. La fila pasa a ser aproximadamente [-1.224736, 0, 1.224736]: centrada en 0 con varianza 1.
Entrada:
x = [
[5.0, 5.0]
]
beta = [1.0, -1.0]
gamma = [2.0, 3.0]
epsilon = 1.0e-05
Salida esperada:
expected = [
[1.0, -1.0]
]Entrada:
std::vector<std::vector<double>> x = {
{5.0, 5.0}
};
std::vector<double> beta = {1.0, -1.0};
std::vector<double> gamma = {2.0, 3.0};
double epsilon = 1.0e-05;
Salida esperada:
std::vector<std::vector<double>> expected = {
{1.0, -1.0}
};Entrada:
double[][] x = new double[][] {
new double[] {5.0, 5.0}
};
double[] beta = new double[] {1.0, -1.0};
double[] gamma = new double[] {2.0, 3.0};
double epsilon = 1.0e-05;
Salida esperada:
double[][] expected = new double[][] {
new double[] {1.0, -1.0}
};Explicación
Ambos valores son iguales a la media, así que x̂ = [0, 0] y la salida es simplemente beta: [1, -1]. Epsilon evita la división por cero.
Cómo abordarlo
Inténtalo primero por tu cuenta y luego abre las pistas una a una.
Pista 1
Normaliza cada fila de forma independiente usando la media y la varianza de esa fila, no estadísticas de toda la matriz.
Pista 2
Después de estandarizar una fila, aplica el escalado y el desplazamiento aprendidos elemento a elemento con gamma y beta.
Pista 3
Usa la varianza poblacional y añade epsilon antes de la raíz cuadrada para evitar división por cero en filas constantes.
Complejidad esperada
tiempo O(rows * d), espacio extra O(1)
Referencias
Este reto está adaptado para CodeUtility. Sigue el enunciado y las restricciones indicadas arriba.