Problema
La discesa del gradiente migliora i pesi poco alla volta muovendosi in direzione opposta al gradiente:
w ← w - learning_rate × dL/dw
Addestra un neurone sigmoide con la discesa del gradiente stocastica. In ogni epoca, scorri gli esempi nell'ordine dato e, per ogni esempio:
- z = sample · weights + bias, y = 1 / (1 + e^(-z))
- delta = 2 × (y - target) × y × (1 - y)
- weights[i] ← weights[i] - learning_rate × delta × sample[i] (per ogni i), poi bias ← bias - learning_rate × delta
Implementa train_neuron(samples, targets, weights, bias, learning_rate, epochs).
Input
samples: m esempi di addestramento, ognuno con n valori.
targets: Gli m output corretti (tra 0 e 1).
weights, bias: I pesi iniziali (n valori) e il bias.
learning_rate, epochs: Il passo e quante passate fare sui dati.
Output
Restituisci i pesi addestrati seguiti dal bias addestrato (n + 1 numeri).
Vincoli
1 ≤ m ≤ 50, 1 ≤ n ≤ 10, 1 ≤ epochs ≤ 1.000
0 < learning_rate ≤ 5
-5 ≤ ogni valore ≤ 5
Esempi
Input:
bias = 0.0
epochs = 1
samples = [
[1.0]
]
targets = [1.0]
weights = [0.0]
learning_rate = 1.0
Output atteso:
expected = [0.25, 0.25]Input:
double bias = 0.0;
long long epochs = 1;
std::vector<std::vector<double>> samples = {
{1.0}
};
std::vector<double> targets = {1.0};
std::vector<double> weights = {0.0};
double learning_rate = 1.0;
Output atteso:
std::vector<double> expected = {0.25, 0.25};Input:
double bias = 0.0;
long epochs = 1;
double[][] samples = new double[][] {
new double[] {1.0}
};
double[] targets = new double[] {1.0};
double[] weights = new double[] {0.0};
double learning_rate = 1.0;
Output atteso:
double[] expected = new double[] {0.25, 0.25};Spiegazione
y = σ(0) = 0.5, delta = 2 × (0.5 - 1) × 0.25 = -0.25. Peso: 0 - 1 × (-0.25) × 1 = 0.25. Bias: 0 - 1 × (-0.25) = 0.25. Risultato: [0.25, 0.25].
Input:
bias = 0.0
epochs = 500
samples = [
[0.0, 0.0],
[0.0, 1.0],
[1.0, 0.0],
[1.0, 1.0]
]
targets = [0.0, 0.0, 0.0, 1.0]
weights = [0.0, 0.0]
learning_rate = 2.0
Output atteso:
expected = [6.346558, 6.339863, -9.592092]Input:
double bias = 0.0;
long long epochs = 500;
std::vector<std::vector<double>> samples = {
{0.0, 0.0},
{0.0, 1.0},
{1.0, 0.0},
{1.0, 1.0}
};
std::vector<double> targets = {0.0, 0.0, 0.0, 1.0};
std::vector<double> weights = {0.0, 0.0};
double learning_rate = 2.0;
Output atteso:
std::vector<double> expected = {6.346558, 6.339863, -9.592092};Input:
double bias = 0.0;
long epochs = 500;
double[][] samples = new double[][] {
new double[] {0.0, 0.0},
new double[] {0.0, 1.0},
new double[] {1.0, 0.0},
new double[] {1.0, 1.0}
};
double[] targets = new double[] {0.0, 0.0, 0.0, 1.0};
double[] weights = new double[] {0.0, 0.0};
double learning_rate = 2.0;
Output atteso:
double[] expected = new double[] {6.346558, 6.339863, -9.592092};Spiegazione
Questa è la porta logica AND. Dopo 500 epoche entrambi i pesi sono grandi e positivi e il bias è fortemente negativo, quindi solo l'input [1, 1] dà un output superiore a 0.5.
Come affrontarlo
Prova prima da solo, poi apri un suggerimento alla volta.
Suggerimento 1
Processa i campioni di training in ordine per ogni epoca, aggiornando i pesi subito dopo ogni esempio.
Suggerimento 2
Per ogni campione, calcola l'output sigmoid, poi usa il suo gradiente per spostare pesi e bias verso il basso.
Suggerimento 3
Poiché gli aggiornamenti sono online, i campioni successivi nella stessa epoca vedono gli aggiornamenti precedenti.
Complessità attesa
tempo O(epochs × m × n), spazio aggiuntivo O(1)
Riferimenti
Questa sfida è adattata per CodeUtility. Segui la traccia e i vincoli sopra.