Problème
La descente de gradient améliore les poids petit à petit en se déplaçant dans le sens opposé au gradient :
w ← w - learning_rate × dL/dw
Entraînez un neurone sigmoïde par descente de gradient stochastique. À chaque époque, parcourez les exemples dans l'ordre donné, et pour chaque exemple :
- z = sample · weights + bias, y = 1 / (1 + e^(-z))
- delta = 2 × (y - target) × y × (1 - y)
- weights[i] ← weights[i] - learning_rate × delta × sample[i] (pour chaque i), puis bias ← bias - learning_rate × delta
Implémentez train_neuron(samples, targets, weights, bias, learning_rate, epochs).
Entrée
samples : m exemples d'entraînement, chacun avec n valeurs.
targets : les m sorties correctes (entre 0 et 1).
weights, bias : les poids de départ (n valeurs) et le biais.
learning_rate, epochs : le pas d'apprentissage et le nombre de passages sur les données.
Sortie
Renvoyez les poids entraînés suivis du biais entraîné (n + 1 nombres).
Contraintes
1 ≤ m ≤ 50, 1 ≤ n ≤ 10, 1 ≤ epochs ≤ 1 000
0 < learning_rate ≤ 5
-5 ≤ chaque valeur ≤ 5
Exemples
Entrée :
bias = 0.0
epochs = 1
samples = [
[1.0]
]
targets = [1.0]
weights = [0.0]
learning_rate = 1.0
Sortie attendue :
expected = [0.25, 0.25]Entrée :
double bias = 0.0;
long long epochs = 1;
std::vector<std::vector<double>> samples = {
{1.0}
};
std::vector<double> targets = {1.0};
std::vector<double> weights = {0.0};
double learning_rate = 1.0;
Sortie attendue :
std::vector<double> expected = {0.25, 0.25};Entrée :
double bias = 0.0;
long epochs = 1;
double[][] samples = new double[][] {
new double[] {1.0}
};
double[] targets = new double[] {1.0};
double[] weights = new double[] {0.0};
double learning_rate = 1.0;
Sortie attendue :
double[] expected = new double[] {0.25, 0.25};Explication
y = σ(0) = 0.5, delta = 2 × (0.5 - 1) × 0.25 = -0.25. Poids : 0 - 1 × (-0.25) × 1 = 0.25. Biais : 0 - 1 × (-0.25) = 0.25. Résultat : [0.25, 0.25].
Entrée :
bias = 0.0
epochs = 500
samples = [
[0.0, 0.0],
[0.0, 1.0],
[1.0, 0.0],
[1.0, 1.0]
]
targets = [0.0, 0.0, 0.0, 1.0]
weights = [0.0, 0.0]
learning_rate = 2.0
Sortie attendue :
expected = [6.346558, 6.339863, -9.592092]Entrée :
double bias = 0.0;
long long epochs = 500;
std::vector<std::vector<double>> samples = {
{0.0, 0.0},
{0.0, 1.0},
{1.0, 0.0},
{1.0, 1.0}
};
std::vector<double> targets = {0.0, 0.0, 0.0, 1.0};
std::vector<double> weights = {0.0, 0.0};
double learning_rate = 2.0;
Sortie attendue :
std::vector<double> expected = {6.346558, 6.339863, -9.592092};Entrée :
double bias = 0.0;
long epochs = 500;
double[][] samples = new double[][] {
new double[] {0.0, 0.0},
new double[] {0.0, 1.0},
new double[] {1.0, 0.0},
new double[] {1.0, 1.0}
};
double[] targets = new double[] {0.0, 0.0, 0.0, 1.0};
double[] weights = new double[] {0.0, 0.0};
double learning_rate = 2.0;
Sortie attendue :
double[] expected = new double[] {6.346558, 6.339863, -9.592092};Explication
C'est la porte logique ET. Après 500 époques, les deux poids sont grands et positifs et le biais est fortement négatif, donc seule l'entrée [1, 1] donne une sortie supérieure à 0.5.
Comment l'aborder
Essayez d'abord seul, puis ouvrez les indices un par un.
Indice 1
Traite les exemples d’entraînement dans l’ordre pour chaque époque, en mettant à jour les poids immédiatement après chaque exemple.
Indice 2
Pour chaque exemple, calcule la sortie sigmoid, puis utilise son gradient pour faire descendre les poids et le biais.
Indice 3
Comme les mises à jour sont en ligne, les exemples suivants de la même époque voient les mises à jour précédentes.
Complexité attendue
temps O(epochs × m × n), espace supplémentaire O(1)
Références
Ce défi a été adapté pour CodeUtility. Suivez l'énoncé et les contraintes ci-dessus.