問題
モーメンタムは、勾配降下法を坂を転がるボールのように振る舞わせます。各ステップは前のステップの一部を引き継ぎます。
すべての重みについて速度 0 から始めます。各ステップ t で、勾配ベクトル g(重みごとに1つの値)について:
- v ← beta × v + g
- w ← w - learning_rate × v
momentum_steps(gradients, weights, learning_rate, beta) を実装し、gradients の各行ごとに1回、順番に更新してください。
入力
gradients: ステップごとに1行。各行は重みごとに1つの勾配を持ちます。
weights: 初期の重み。
learning_rate: ステップ幅。
beta: モーメンタム係数(0 なら通常の勾配降下法)。
出力
すべてのステップ後の重みを返してください。
制約
0 ≤ ステップ数 ≤ 1,000、1 ≤ 重みの数 ≤ 100
0 < learning_rate ≤ 1、0 ≤ beta < 1
-100 ≤ 各値 ≤ 100
例
入力:
beta = 0.9
weights = [0.0]
gradients = [
[1.0],
[1.0],
[1.0]
]
learning_rate = 0.1
期待される出力:
expected = [-0.561]
入力:
double beta = 0.9;
std::vector<double> weights = {0.0};
std::vector<std::vector<double>> gradients = {
{1.0},
{1.0},
{1.0}
};
double learning_rate = 0.1;
期待される出力:
std::vector<double> expected = {-0.561};
入力:
double beta = 0.9;
double[] weights = new double[] {0.0};
double[][] gradients = new double[][] {
new double[] {1.0},
new double[] {1.0},
new double[] {1.0}
};
double learning_rate = 0.1;
期待される出力:
double[] expected = new double[] {-0.561};
解説
勾配がずっと同じ方向を向いているため、速度は 1 → 1.9 → 2.71 と増え、ステップは 0.1、0.19、0.271 になります:w = -0.561。
入力:
beta = 0.0
weights = [1.0, 1.0]
gradients = [
[2.0, -4.0]
]
learning_rate = 0.5
期待される出力:
expected = [0.0, 3.0]
入力:
double beta = 0.0;
std::vector<double> weights = {1.0, 1.0};
std::vector<std::vector<double>> gradients = {
{2.0, -4.0}
};
double learning_rate = 0.5;
期待される出力:
std::vector<double> expected = {0.0, 3.0};
入力:
double beta = 0.0;
double[] weights = new double[] {1.0, 1.0};
double[][] gradients = new double[][] {
new double[] {2.0, -4.0}
};
double learning_rate = 0.5;
期待される出力:
double[] expected = new double[] {0.0, 3.0};
解説
beta = 0 では通常の勾配降下法です:w = [1 - 0.5 × 2, 1 - 0.5 × (-4)] = [0, 3]。
解き方のヒント
まずは自分で考えてから、ヒントを 1 つずつ開いてみましょう。
ヒント 1
前回の更新の一部と現在の勾配を蓄える velocity ベクトルを保持します。
ヒント 2
重みを調整する前に velocity を更新し、同じ velocity を全ステップで使い回します。
ヒント 3
beta が 0 のときは通常の勾配降下法に戻るべきなので、その挙動をしっかり確認します。
目安の計算量
時間 O(s × w)、追加メモリ O(w)
参考資料
この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。