Đề bài
Momentum khiến hạ gradient giống một quả bóng lăn xuống dốc: mỗi bước giữ lại một phần của bước trước.
Bắt đầu với vận tốc bằng 0 cho mọi trọng số. Với mỗi bước t, có vector gradient g (mỗi trọng số một giá trị):
- v ← beta × v + g
- w ← w - learning_rate × v
Hãy cài đặt momentum_steps(gradients, weights, learning_rate, beta), áp dụng một lần cập nhật cho mỗi hàng của gradients, theo thứ tự.
Đầu vào
gradients: Mỗi bước một hàng; mỗi hàng có một gradient cho mỗi trọng số.
weights: Các trọng số ban đầu.
learning_rate: Bước nhảy.
beta: Hệ số momentum (0 nghĩa là hạ gradient thông thường).
Đầu ra
Trả về các trọng số sau tất cả các bước.
Ràng buộc
0 ≤ số bước ≤ 1.000, 1 ≤ số trọng số ≤ 100
0 < learning_rate ≤ 1, 0 ≤ beta < 1
-100 ≤ mỗi giá trị ≤ 100
Ví dụ
Đầu vào:
beta = 0.9
weights = [0.0]
gradients = [
[1.0],
[1.0],
[1.0]
]
learning_rate = 0.1
Kết quả mong đợi:
expected = [-0.561]Đầu vào:
double beta = 0.9;
std::vector<double> weights = {0.0};
std::vector<std::vector<double>> gradients = {
{1.0},
{1.0},
{1.0}
};
double learning_rate = 0.1;
Kết quả mong đợi:
std::vector<double> expected = {-0.561};Đầu vào:
double beta = 0.9;
double[] weights = new double[] {0.0};
double[][] gradients = new double[][] {
new double[] {1.0},
new double[] {1.0},
new double[] {1.0}
};
double learning_rate = 0.1;
Kết quả mong đợi:
double[] expected = new double[] {-0.561};Giải thích
Vận tốc tăng 1 → 1.9 → 2.71 vì gradient luôn chỉ cùng một hướng, nên các bước là 0.1, 0.19 và 0.271: w = -0.561.
Đầu vào:
beta = 0.0
weights = [1.0, 1.0]
gradients = [
[2.0, -4.0]
]
learning_rate = 0.5
Kết quả mong đợi:
expected = [0.0, 3.0]Đầu vào:
double beta = 0.0;
std::vector<double> weights = {1.0, 1.0};
std::vector<std::vector<double>> gradients = {
{2.0, -4.0}
};
double learning_rate = 0.5;
Kết quả mong đợi:
std::vector<double> expected = {0.0, 3.0};Đầu vào:
double beta = 0.0;
double[] weights = new double[] {1.0, 1.0};
double[][] gradients = new double[][] {
new double[] {2.0, -4.0}
};
double learning_rate = 0.5;
Kết quả mong đợi:
double[] expected = new double[] {0.0, 3.0};Giải thích
Với beta = 0, đây là hạ gradient thông thường: w = [1 - 0.5 × 2, 1 - 0.5 × (-4)] = [0, 3].
Tham khảo
Thử thách này đã được điều chỉnh cho CodeUtility. Hãy làm theo đề bài và các ràng buộc ở trên.