Градиентный спуск понемногу улучшает веса, двигаясь против градиента:
w ← w - learning_rate × dL/dw
Обучите сигмоидный нейрон стохастическим градиентным спуском. В каждой эпохе проходите по примерам в заданном порядке и для каждого примера:
- z = sample · weights + bias, y = 1 / (1 + e^(-z))
- delta = 2 × (y - target) × y × (1 - y)
- weights[i] ← weights[i] - learning_rate × delta × sample[i] (для каждого i), затем bias ← bias - learning_rate × delta
Реализуйте train_neuron(samples, targets, weights, bias, learning_rate, epochs).
Входные данные
samples: m обучающих примеров, в каждом n значений.
targets: m правильных выходов (от 0 до 1).
weights, bias: начальные веса (n значений) и смещение.
learning_rate, epochs: размер шага и число проходов по данным.
Выходные данные
Верните обученные веса, а за ними обученное смещение (n + 1 чисел).
Ограничения
1 ≤ m ≤ 50, 1 ≤ n ≤ 10, 1 ≤ epochs ≤ 1000
0 < learning_rate ≤ 5
-5 ≤ каждое значение ≤ 5
Примеры
Ввод:
bias = 0.0
epochs = 1
samples = [
[1.0]
]
targets = [1.0]
weights = [0.0]
learning_rate = 1.0
Ожидаемый вывод:
expected = [0.25, 0.25]Ввод:
double bias = 0.0;
long long epochs = 1;
std::vector<std::vector<double>> samples = {
{1.0}
};
std::vector<double> targets = {1.0};
std::vector<double> weights = {0.0};
double learning_rate = 1.0;
Ожидаемый вывод:
std::vector<double> expected = {0.25, 0.25};Ввод:
double bias = 0.0;
long epochs = 1;
double[][] samples = new double[][] {
new double[] {1.0}
};
double[] targets = new double[] {1.0};
double[] weights = new double[] {0.0};
double learning_rate = 1.0;
Ожидаемый вывод:
double[] expected = new double[] {0.25, 0.25};Пояснение
y = σ(0) = 0.5, delta = 2 × (0.5 - 1) × 0.25 = -0.25. Вес: 0 - 1 × (-0.25) × 1 = 0.25. Смещение: 0 - 1 × (-0.25) = 0.25. Результат: [0.25, 0.25].
Ввод:
bias = 0.0
epochs = 500
samples = [
[0.0, 0.0],
[0.0, 1.0],
[1.0, 0.0],
[1.0, 1.0]
]
targets = [0.0, 0.0, 0.0, 1.0]
weights = [0.0, 0.0]
learning_rate = 2.0
Ожидаемый вывод:
expected = [6.346558, 6.339863, -9.592092]Ввод:
double bias = 0.0;
long long epochs = 500;
std::vector<std::vector<double>> samples = {
{0.0, 0.0},
{0.0, 1.0},
{1.0, 0.0},
{1.0, 1.0}
};
std::vector<double> targets = {0.0, 0.0, 0.0, 1.0};
std::vector<double> weights = {0.0, 0.0};
double learning_rate = 2.0;
Ожидаемый вывод:
std::vector<double> expected = {6.346558, 6.339863, -9.592092};Ввод:
double bias = 0.0;
long epochs = 500;
double[][] samples = new double[][] {
new double[] {0.0, 0.0},
new double[] {0.0, 1.0},
new double[] {1.0, 0.0},
new double[] {1.0, 1.0}
};
double[] targets = new double[] {0.0, 0.0, 0.0, 1.0};
double[] weights = new double[] {0.0, 0.0};
double learning_rate = 2.0;
Ожидаемый вывод:
double[] expected = new double[] {6.346558, 6.339863, -9.592092};Пояснение
Это логический элемент И (AND). После 500 эпох оба веса большие и положительные, а смещение сильно отрицательное, поэтому только вход [1, 1] даёт выход больше 0.5.
Как подступиться
Сначала попробуйте сами, затем открывайте подсказки по одной.
Подсказка 1
Обрабатывайте обучающие примеры по порядку в каждой epoch и обновляйте веса сразу после каждого примера.
Подсказка 2
Для каждого примера вычислите sigmoid output, затем используйте его gradient, чтобы сдвигать веса и bias вниз по loss.
Подсказка 3
Поскольку обновления идут online, более поздние примеры в той же epoch видят уже изменённые веса.
Ожидаемая сложность
время O(epochs × m × n), доп. память O(1)
Ссылки
Это задание адаптировано для CodeUtility. Следуйте условию и ограничениям выше.