Нормализация слоя удерживает активации каждого токена в стабильном масштабе. Для каждой строки x матрицы:
- mean = Σ x / d и var = Σ (x - mean)² / d (дисперсия генеральной совокупности по d значениям строки)
- x̂ = (x - mean) / √(var + epsilon)
- выход = gamma × x̂ + beta (поэлементно: столбец j использует gamma[j] и beta[j])
Реализуйте layer_norm(x, gamma, beta, epsilon).
Входные данные
x: Матрица с одной строкой на токен и d столбцами.
gamma, beta: Обучаемые масштаб и сдвиг, по d значений каждый.
epsilon: Небольшое число, предотвращающее деление на ноль.
Выходные данные
Верните нормализованную матрицу той же формы, что и x.
Ограничения
1 ≤ строки ≤ 100, 1 ≤ d ≤ 128
-100 ≤ каждое значение ≤ 100, 0 < epsilon ≤ 0.001
Примеры
Ввод:
x = [
[1.0, 2.0, 3.0]
]
beta = [0.0, 0.0, 0.0]
gamma = [1.0, 1.0, 1.0]
epsilon = 1.0e-05
Ожидаемый вывод:
expected = [
[-1.224736, 0.0, 1.224736]
]Ввод:
std::vector<std::vector<double>> x = {
{1.0, 2.0, 3.0}
};
std::vector<double> beta = {0.0, 0.0, 0.0};
std::vector<double> gamma = {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Ожидаемый вывод:
std::vector<std::vector<double>> expected = {
{-1.224736, 0.0, 1.224736}
};Ввод:
double[][] x = new double[][] {
new double[] {1.0, 2.0, 3.0}
};
double[] beta = new double[] {0.0, 0.0, 0.0};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double epsilon = 1.0e-05;
Ожидаемый вывод:
double[][] expected = new double[][] {
new double[] {-1.224736, 0.0, 1.224736}
};Пояснение
mean = 2 и var = (1 + 0 + 1) / 3 ≈ 0.666667, поэтому √(var + epsilon) ≈ 0.816503. Строка становится примерно [-1.224736, 0, 1.224736]: центрирована в 0 с дисперсией 1.
Ввод:
x = [
[5.0, 5.0]
]
beta = [1.0, -1.0]
gamma = [2.0, 3.0]
epsilon = 1.0e-05
Ожидаемый вывод:
expected = [
[1.0, -1.0]
]Ввод:
std::vector<std::vector<double>> x = {
{5.0, 5.0}
};
std::vector<double> beta = {1.0, -1.0};
std::vector<double> gamma = {2.0, 3.0};
double epsilon = 1.0e-05;
Ожидаемый вывод:
std::vector<std::vector<double>> expected = {
{1.0, -1.0}
};Ввод:
double[][] x = new double[][] {
new double[] {5.0, 5.0}
};
double[] beta = new double[] {1.0, -1.0};
double[] gamma = new double[] {2.0, 3.0};
double epsilon = 1.0e-05;
Ожидаемый вывод:
double[][] expected = new double[][] {
new double[] {1.0, -1.0}
};Пояснение
Оба значения равны среднему, поэтому x̂ = [0, 0], а выход — просто beta: [1, -1]. Epsilon предотвращает деление на ноль.
Как подступиться
Сначала попробуйте сами, затем открывайте подсказки по одной.
Подсказка 1
Нормализуйте каждую строку независимо, используя её собственные mean и variance, а не статистику по всей матрице.
Подсказка 2
После стандартизации строки примените обучаемые scale и shift поэлементно с gamma и beta.
Подсказка 3
Используйте population variance и добавьте epsilon перед square root, чтобы избежать деления на ноль для константных строк.
Ожидаемая сложность
O(rows * d) по времени, O(1) по дополнительной памяти
Ссылки
Это задание адаптировано для CodeUtility. Следуйте условию и ограничениям выше.