Оптимизатор Adam

Adam хранит для каждого веса два скользящих средних — градиента (m) и квадрата градиента (v) — и с их помощью даёт каждому весу собственный размер шага.

Начните с m = 0 и v = 0 для каждого веса. Для каждого шага t = 1, 2, 3, … с градиентом g:

1. m ← beta1 × m + (1 - beta1) × g
2. v ← beta2 × v + (1 - beta2) × g²
3. m̂ = m / (1 - beta1ᵗ) и v̂ = v / (1 - beta2ᵗ) (коррекция смещения)
4. w ← w - learning_rate × m̂ / (√v̂ + epsilon)

Реализуйте adam_steps(gradients, weights, learning_rate, beta1, beta2, epsilon), применяя одно обновление на каждую строку gradients по порядку.

Входные данные

gradients: Одна строка на шаг; в каждой строке по одному градиенту на вес.

weights: Начальные веса.

learning_rate, beta1, beta2, epsilon: Гиперпараметры Adam (типичные значения 0.001, 0.9, 0.999 и 0.00000001).

Выходные данные

Верните веса после всех шагов.

Ограничения

0 ≤ шаги ≤ 1 000, 1 ≤ веса ≤ 100

0 < learning_rate ≤ 1, 0 ≤ beta1, beta2 < 1, 0 < epsilon ≤ 0.001

-100 ≤ каждое значение ≤ 100

Примеры

Ввод:
beta1 = 0.9
beta2 = 0.999
epsilon = 1.0e-08
weights = [1.0]
gradients = [
    [2.0]
]
learning_rate = 0.1

Ожидаемый вывод:
expected = [0.9]

Ввод:
double beta1 = 0.9;
double beta2 = 0.999;
double epsilon = 1.0e-08;
std::vector<double> weights = {1.0};
std::vector<std::vector<double>> gradients = {
    {2.0}
};
double learning_rate = 0.1;

Ожидаемый вывод:
std::vector<double> expected = {0.9};

Ввод:
double beta1 = 0.9;
double beta2 = 0.999;
double epsilon = 1.0e-08;
double[] weights = new double[] {1.0};
double[][] gradients = new double[][] {
    new double[] {2.0}
};
double learning_rate = 0.1;

Ожидаемый вывод:
double[] expected = new double[] {0.9};

Ввод:
beta1 = 0.9
beta2 = 0.999
epsilon = 1.0e-08
weights = [0.0, 0.0]
gradients = [
    [100.0, 0.01]
]
learning_rate = 0.01

Ожидаемый вывод:
expected = [-0.01, -0.01]

Ввод:
double beta1 = 0.9;
double beta2 = 0.999;
double epsilon = 1.0e-08;
std::vector<double> weights = {0.0, 0.0};
std::vector<std::vector<double>> gradients = {
    {100.0, 0.01}
};
double learning_rate = 0.01;

Ожидаемый вывод:
std::vector<double> expected = {-0.01, -0.01};

Ввод:
double beta1 = 0.9;
double beta2 = 0.999;
double epsilon = 1.0e-08;
double[] weights = new double[] {0.0, 0.0};
double[][] gradients = new double[][] {
    new double[] {100.0, 0.01}
};
double learning_rate = 0.01;

Ожидаемый вывод:
double[] expected = new double[] {-0.01, -0.01};

Ссылки

Это задание адаптировано для CodeUtility. Следуйте условию и ограничениям выше.

• Kingma and Ba, Adam: A Method for Stochastic Optimization
• Stanford CS231n, Neural Networks Part 3: parameter updates