โจทย์
Momentum ทำให้ gradient descent กลิ้งไปเหมือนลูกบอลลงเนิน: แต่ละก้าวเก็บส่วนหนึ่งของก้าวก่อนหน้าไว้
เริ่มด้วยความเร็ว 0 สำหรับทุกน้ำหนัก สำหรับแต่ละก้าว t ที่มีเวกเตอร์ gradient g (หนึ่งค่าต่อน้ำหนัก):
- v ← beta × v + g
- w ← w - learning_rate × v
จง implement momentum_steps(gradients, weights, learning_rate, beta) โดยอัปเดตหนึ่งครั้งต่อแถวของ gradients ตามลำดับ
อินพุต
gradients: หนึ่งแถวต่อก้าว แต่ละแถวมี gradient หนึ่งค่าต่อน้ำหนัก
weights: น้ำหนักเริ่มต้น
learning_rate: ขนาดก้าว
beta: สัมประสิทธิ์ momentum (0 คือ gradient descent ธรรมดา)
เอาต์พุต
คืนค่าน้ำหนักหลังจากทุกก้าว
เงื่อนไข
0 ≤ จำนวนก้าว ≤ 1,000, 1 ≤ จำนวนน้ำหนัก ≤ 100
0 < learning_rate ≤ 1, 0 ≤ beta < 1
-100 ≤ แต่ละค่า ≤ 100
ตัวอย่าง
อินพุต:
beta = 0.9
weights = [0.0]
gradients = [
[1.0],
[1.0],
[1.0]
]
learning_rate = 0.1
ผลลัพธ์ที่คาดหวัง:
expected = [-0.561]อินพุต:
double beta = 0.9;
std::vector<double> weights = {0.0};
std::vector<std::vector<double>> gradients = {
{1.0},
{1.0},
{1.0}
};
double learning_rate = 0.1;
ผลลัพธ์ที่คาดหวัง:
std::vector<double> expected = {-0.561};อินพุต:
double beta = 0.9;
double[] weights = new double[] {0.0};
double[][] gradients = new double[][] {
new double[] {1.0},
new double[] {1.0},
new double[] {1.0}
};
double learning_rate = 0.1;
ผลลัพธ์ที่คาดหวัง:
double[] expected = new double[] {-0.561};คำอธิบาย
ความเร็วเพิ่มขึ้น 1 → 1.9 → 2.71 เพราะ gradient ชี้ไปทิศเดิมตลอด ดังนั้นก้าวคือ 0.1, 0.19 และ 0.271: w = -0.561
อินพุต:
beta = 0.0
weights = [1.0, 1.0]
gradients = [
[2.0, -4.0]
]
learning_rate = 0.5
ผลลัพธ์ที่คาดหวัง:
expected = [0.0, 3.0]อินพุต:
double beta = 0.0;
std::vector<double> weights = {1.0, 1.0};
std::vector<std::vector<double>> gradients = {
{2.0, -4.0}
};
double learning_rate = 0.5;
ผลลัพธ์ที่คาดหวัง:
std::vector<double> expected = {0.0, 3.0};อินพุต:
double beta = 0.0;
double[] weights = new double[] {1.0, 1.0};
double[][] gradients = new double[][] {
new double[] {2.0, -4.0}
};
double learning_rate = 0.5;
ผลลัพธ์ที่คาดหวัง:
double[] expected = new double[] {0.0, 3.0};คำอธิบาย
เมื่อ beta = 0 จะเป็น gradient descent ธรรมดา: w = [1 - 0.5 × 2, 1 - 0.5 × (-4)] = [0, 3]
แหล่งอ้างอิง
โจทย์นี้ปรับให้เหมาะกับ CodeUtility กรุณาทำตามคำชี้แจงและข้อจำกัดด้านบน