문제
경사 하강법은 기울기의 반대 방향으로 움직여 가중치를 조금씩 개선합니다.
w ← w - learning_rate × dL/dw
확률적 경사 하강법으로 sigmoid 뉴런을 학습시키세요. 각 에포크마다 샘플을 주어진 순서대로 처리하고, 각 샘플에 대해:
- z = sample · weights + bias, y = 1 / (1 + e^(-z))
- delta = 2 × (y - target) × y × (1 - y)
- weights[i] ← weights[i] - learning_rate × delta × sample[i] (모든 i에 대해), 그다음 bias ← bias - learning_rate × delta
train_neuron(samples, targets, weights, bias, learning_rate, epochs)를 구현하세요.
입력
samples: m개의 학습 예제, 각 예제는 n개의 값을 가집니다.
targets: m개의 정답 출력 (0에서 1 사이).
weights, bias: 초기 가중치(n개)와 편향.
learning_rate, epochs: 학습률과 데이터를 몇 번 반복할지.
출력
학습된 가중치와 그 뒤에 학습된 편향(n + 1개의 숫자)을 반환하세요.
제약 조건
1 ≤ m ≤ 50, 1 ≤ n ≤ 10, 1 ≤ epochs ≤ 1,000
0 < learning_rate ≤ 5
-5 ≤ 각 값 ≤ 5
예시
입력:
bias = 0.0
epochs = 1
samples = [
[1.0]
]
targets = [1.0]
weights = [0.0]
learning_rate = 1.0
예상 출력:
expected = [0.25, 0.25]입력:
double bias = 0.0;
long long epochs = 1;
std::vector<std::vector<double>> samples = {
{1.0}
};
std::vector<double> targets = {1.0};
std::vector<double> weights = {0.0};
double learning_rate = 1.0;
예상 출력:
std::vector<double> expected = {0.25, 0.25};입력:
double bias = 0.0;
long epochs = 1;
double[][] samples = new double[][] {
new double[] {1.0}
};
double[] targets = new double[] {1.0};
double[] weights = new double[] {0.0};
double learning_rate = 1.0;
예상 출력:
double[] expected = new double[] {0.25, 0.25};설명
y = σ(0) = 0.5, delta = 2 × (0.5 - 1) × 0.25 = -0.25. 가중치: 0 - 1 × (-0.25) × 1 = 0.25. 편향: 0 - 1 × (-0.25) = 0.25. 결과: [0.25, 0.25].
입력:
bias = 0.0
epochs = 500
samples = [
[0.0, 0.0],
[0.0, 1.0],
[1.0, 0.0],
[1.0, 1.0]
]
targets = [0.0, 0.0, 0.0, 1.0]
weights = [0.0, 0.0]
learning_rate = 2.0
예상 출력:
expected = [6.346558, 6.339863, -9.592092]입력:
double bias = 0.0;
long long epochs = 500;
std::vector<std::vector<double>> samples = {
{0.0, 0.0},
{0.0, 1.0},
{1.0, 0.0},
{1.0, 1.0}
};
std::vector<double> targets = {0.0, 0.0, 0.0, 1.0};
std::vector<double> weights = {0.0, 0.0};
double learning_rate = 2.0;
예상 출력:
std::vector<double> expected = {6.346558, 6.339863, -9.592092};입력:
double bias = 0.0;
long epochs = 500;
double[][] samples = new double[][] {
new double[] {0.0, 0.0},
new double[] {0.0, 1.0},
new double[] {1.0, 0.0},
new double[] {1.0, 1.0}
};
double[] targets = new double[] {0.0, 0.0, 0.0, 1.0};
double[] weights = new double[] {0.0, 0.0};
double learning_rate = 2.0;
예상 출력:
double[] expected = new double[] {6.346558, 6.339863, -9.592092};설명
이것은 논리 AND 게이트입니다. 500 에포크 후 두 가중치는 모두 크고 양수이며 편향은 크게 음수이므로, 입력 [1, 1]만 0.5보다 큰 출력을 냅니다.
접근 방법
먼저 스스로 풀어 본 뒤 힌트를 하나씩 열어 보세요.
힌트 1
각 epoch마다 training sample을 순서대로 처리하고, 각 예제 뒤에 weight를 바로 업데이트하세요.
힌트 2
각 sample에 대해 sigmoid 출력을 계산한 뒤, 그 gradient로 weight와 bias를 내려가게 이동시키세요.
힌트 3
online update이므로 같은 epoch의 뒤쪽 sample들은 앞에서 반영된 업데이트를 보게 됩니다.
예상 복잡도
시간 O(epochs × m × n), 추가 공간 O(1)
참고 자료
이 문제는 CodeUtility에 맞게 수정되었습니다. 위의 설명과 제한 조건을 따르세요.