Problema
Un modello linguistico non deve guardare le parole future. L'attenzione causale maschera il futuro: la riga di query i può prestare attenzione solo alle righe di key da 0 a i.
Per ogni riga i (queries, keys e values hanno tutte n righe):
- Assegna un punteggio a ogni key consentita j ≤ i: score = (queries[i] · keys[j]) / √d, dove d è il numero di colonne di keys.
- Applica softmax solo a questi punteggi consentiti (sottrai il maggiore prima di calcolare e^x).
- Riga di output i = Σ weight_j × values[j] per j ≤ i.
Implementa causal_attention(queries, keys, values).
Input
queries, keys: n righe di d numeri.
values: n righe di v numeri.
Output
Restituisci la matrice di output n × v.
Vincoli
1 ≤ n ≤ 50, 1 ≤ d, v ≤ 32
-10 ≤ ogni valore ≤ 10
Esempi
Input:
keys = [
[1.0],
[2.0],
[3.0]
]
values = [
[3.0],
[6.0],
[9.0]
]
queries = [
[0.0],
[0.0],
[0.0]
]
Output atteso:
expected = [
[3.0],
[4.5],
[6.0]
]Input:
std::vector<std::vector<double>> keys = {
{1.0},
{2.0},
{3.0}
};
std::vector<std::vector<double>> values = {
{3.0},
{6.0},
{9.0}
};
std::vector<std::vector<double>> queries = {
{0.0},
{0.0},
{0.0}
};
Output atteso:
std::vector<std::vector<double>> expected = {
{3.0},
{4.5},
{6.0}
};Input:
double[][] keys = new double[][] {
new double[] {1.0},
new double[] {2.0},
new double[] {3.0}
};
double[][] values = new double[][] {
new double[] {3.0},
new double[] {6.0},
new double[] {9.0}
};
double[][] queries = new double[][] {
new double[] {0.0},
new double[] {0.0},
new double[] {0.0}
};
Output atteso:
double[][] expected = new double[][] {
new double[] {3.0},
new double[] {4.5},
new double[] {6.0}
};Spiegazione
Tutti i punteggi sono 0, quindi ogni riga fa la media dei valori che può vedere: la riga 0 vede solo 3, la riga 1 fa la media di 3 e 6 (4.5), la riga 2 fa la media di tutti e tre (6).
Input:
keys = [
[1.0, 0.0],
[1.0, 0.0]
]
values = [
[1.0, 2.0],
[3.0, 4.0]
]
queries = [
[1.0, 0.0],
[1.0, 0.0]
]
Output atteso:
expected = [
[1.0, 2.0],
[2.0, 3.0]
]Input:
std::vector<std::vector<double>> keys = {
{1.0, 0.0},
{1.0, 0.0}
};
std::vector<std::vector<double>> values = {
{1.0, 2.0},
{3.0, 4.0}
};
std::vector<std::vector<double>> queries = {
{1.0, 0.0},
{1.0, 0.0}
};
Output atteso:
std::vector<std::vector<double>> expected = {
{1.0, 2.0},
{2.0, 3.0}
};Input:
double[][] keys = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
new double[] {1.0, 2.0},
new double[] {3.0, 4.0}
};
double[][] queries = new double[][] {
new double[] {1.0, 0.0},
new double[] {1.0, 0.0}
};
Output atteso:
double[][] expected = new double[][] {
new double[] {1.0, 2.0},
new double[] {2.0, 3.0}
};Spiegazione
La riga 0 vede solo se stessa e copia values[0] = [1, 2]. La riga 1 dà lo stesso punteggio a entrambe le key e ne fa la media: [2, 3].
Riferimenti
Questa sfida è adattata per CodeUtility. Segui la traccia e i vincoli sopra.