Problema
A normalização de camada mantém as ativações de cada token em uma escala estável. Para cada linha x da matriz:
- mean = Σ x / d e var = Σ (x - mean)² / d (variância populacional sobre os d valores da linha)
- x̂ = (x - mean) / √(var + epsilon)
- saída = gamma × x̂ + beta (elemento a elemento: a coluna j usa gamma[j] e beta[j])
Implemente layer_norm(x, gamma, beta, epsilon).
Entrada
x: Uma matriz com uma linha por token e d colunas.
gamma, beta: A escala e o deslocamento aprendidos, d valores cada.
epsilon: Um número pequeno que evita a divisão por zero.
Saída
Retorne a matriz normalizada, com a mesma forma de x.
Restrições
1 ≤ linhas ≤ 100, 1 ≤ d ≤ 128
-100 ≤ cada valor ≤ 100, 0 < epsilon ≤ 0.001
Exemplos
Entrada:
x = [
[1.0, 2.0, 3.0]
]
beta = [0.0, 0.0, 0.0]
gamma = [1.0, 1.0, 1.0]
epsilon = 1.0e-05
Saída esperada:
expected = [
[-1.224736, 0.0, 1.224736]
]Entrada:
std::vector<std::vector<double>> x = {
{1.0, 2.0, 3.0}
};
std::vector<double> beta = {0.0, 0.0, 0.0};
std::vector<double> gamma = {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Saída esperada:
std::vector<std::vector<double>> expected = {
{-1.224736, 0.0, 1.224736}
};Entrada:
double[][] x = new double[][] {
new double[] {1.0, 2.0, 3.0}
};
double[] beta = new double[] {0.0, 0.0, 0.0};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Saída esperada:
double[][] expected = new double[][] {
new double[] {-1.224736, 0.0, 1.224736}
};Explicação
mean = 2 e var = (1 + 0 + 1) / 3 ≈ 0.666667, então √(var + epsilon) ≈ 0.816503. A linha se torna aproximadamente [-1.224736, 0, 1.224736]: centrada em 0 com variância 1.
Entrada:
x = [
[5.0, 5.0]
]
beta = [1.0, -1.0]
gamma = [2.0, 3.0]
epsilon = 1.0e-05
Saída esperada:
expected = [
[1.0, -1.0]
]Entrada:
std::vector<std::vector<double>> x = {
{5.0, 5.0}
};
std::vector<double> beta = {1.0, -1.0};
std::vector<double> gamma = {2.0, 3.0};
double epsilon = 1.0e-05;
Saída esperada:
std::vector<std::vector<double>> expected = {
{1.0, -1.0}
};Entrada:
double[][] x = new double[][] {
new double[] {5.0, 5.0}
};
double[] beta = new double[] {1.0, -1.0};
double[] gamma = new double[] {2.0, 3.0};
double epsilon = 1.0e-05;
Saída esperada:
double[][] expected = new double[][] {
new double[] {1.0, -1.0}
};Explicação
Os dois valores são iguais à média, então x̂ = [0, 0] e a saída é simplesmente beta: [1, -1]. O epsilon evita a divisão por zero.
Como abordar
Tente sozinho primeiro e depois abra uma dica de cada vez.
Dica 1
Normalize cada linha de forma independente usando a média e a variância da própria linha, não estatísticas da matriz inteira.
Dica 2
Depois de padronizar uma linha, aplique o scale e o shift aprendidos elemento a elemento com gamma e beta.
Dica 3
Use a variância populacional e adicione epsilon antes da raiz quadrada para evitar divisão por zero em linhas constantes.
Complexidade esperada
tempo O(rows * d), espaço extra O(1)
Referências
Este desafio foi adaptado para o CodeUtility. Siga o enunciado e as restrições acima.