Категориальная перекрёстная энтропия

Многоклассовый классификатор выдаёт по одной вероятности на класс (например, через softmax). Категориальная перекрёстная энтропия штрафует его, когда он даёт правильному классу низкую вероятность:

loss = -(ln(p₁) + ln(p₂) + … + ln(pₙ)) / n

где pᵢ — вероятность, которую модель дала правильному классу примера i. Чтобы избежать ln(0), сначала поднимите все вероятности меньше 0.0000001 до 0.0000001.

Реализуйте categorical_cross_entropy(probabilities, labels).

Входные данные

probabilities: по одной строке на пример, по одной вероятности на класс.

labels: индекс правильного класса каждого примера (с 0).

Выходные данные

Верните средние потери как дробное число.

Ограничения

1 ≤ число примеров ≤ 1000, 2 ≤ число классов ≤ 100

0 ≤ каждая вероятность ≤ 1

0 ≤ labels[i] < число классов

Примеры

Ввод:
labels = [0, 1]
probabilities = [
    [0.7, 0.2, 0.1],
    [0.1, 0.8, 0.1]
]

Ожидаемый вывод:
expected = 0.289909

Ввод:
std::vector<long long> labels = {0, 1};
std::vector<std::vector<double>> probabilities = {
    {0.7, 0.2, 0.1},
    {0.1, 0.8, 0.1}
};

Ожидаемый вывод:
double expected = 0.289909;

Ввод:
long[] labels = new long[] {0, 1};
double[][] probabilities = new double[][] {
    new double[] {0.7, 0.2, 0.1},
    new double[] {0.1, 0.8, 0.1}
};

Ожидаемый вывод:
double expected = 0.289909;

Ввод:
labels = [1]
probabilities = [
    [1.0, 0.0]
]

Ожидаемый вывод:
expected = 16.118096

Ввод:
std::vector<long long> labels = {1};
std::vector<std::vector<double>> probabilities = {
    {1.0, 0.0}
};

Ожидаемый вывод:
double expected = 16.118096;

Ввод:
long[] labels = new long[] {1};
double[][] probabilities = new double[][] {
    new double[] {1.0, 0.0}
};

Ожидаемый вывод:
double expected = 16.118096;

Ссылки

Это задание адаптировано для CodeUtility. Следуйте условию и ограничениям выше.

• scikit-learn, log_loss
• Goodfellow, Bengio and Courville, Deep Learning