Sinusförmige Positionskodierung

Attention ignoriert die Wortreihenfolge, deshalb addiert der ursprüngliche Transformer zu jedem Token-Embedding eine Positionskodierung. Für Position pos und Dimension j (beide ab 0) in einem Modell der Größe d_model:

• 'gerades j: PE[pos][j] = sin(pos / 10000^(j / d_model))'
• 'ungerades j: PE[pos][j] = cos(pos / 10000^((j - 1) / d_model))'

Die Dimensionen 0 und 1 teilen sich also eine Frequenz, die Dimensionen 2 und 3 die nächste, und so weiter.

Implementiere positional_encoding(length, d_model).

Eingabe

length: Die Anzahl der Positionen (0 bis length - 1).

d_model: Die Embedding-Größe.

Ausgabe

Gib eine length × d_model-Matrix zurück.

Einschränkungen

1 ≤ length ≤ 200, 1 ≤ d_model ≤ 128

Beispiele

Eingabe:
length = 2
d_model = 4

Erwartete Ausgabe:
expected = [
    [0.0, 1.0, 0.0, 1.0],
    [0.841471, 0.540302, 0.01, 0.99995]
]

Eingabe:
long long length = 2;
long long d_model = 4;

Erwartete Ausgabe:
std::vector<std::vector<double>> expected = {
    {0.0, 1.0, 0.0, 1.0},
    {0.841471, 0.540302, 0.01, 0.99995}
};

Eingabe:
long length = 2;
long d_model = 4;

Erwartete Ausgabe:
double[][] expected = new double[][] {
    new double[] {0.0, 1.0, 0.0, 1.0},
    new double[] {0.841471, 0.540302, 0.01, 0.99995}
};

Eingabe:
length = 3
d_model = 1

Erwartete Ausgabe:
expected = [
    [0.0],
    [0.841471],
    [0.909297]
]

Eingabe:
long long length = 3;
long long d_model = 1;

Erwartete Ausgabe:
std::vector<std::vector<double>> expected = {
    {0.0},
    {0.841471},
    {0.909297}
};

Eingabe:
long length = 3;
long d_model = 1;

Erwartete Ausgabe:
double[][] expected = new double[][] {
    new double[] {0.0},
    new double[] {0.841471},
    new double[] {0.909297}
};

Referenzen

Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.

• Vaswani et al., Attention Is All You Need
• Jay Alammar, The Illustrated Transformer