Échantillonnage avec température et top-k

Les modèles de langage choisissent le token suivant à partir d'une distribution de probabilités. Deux réglages la façonnent :

• 'Top-k : ne gardez que les k tokens aux logits les plus élevés (à logits égaux, l''indice le plus petit est mieux classé).'
• 'Température T : divisez les logits gardés par T avant le softmax. Un T bas rend le choix plus prévisible, un T élevé plus aléatoire.'

Pour rendre l'échantillonnage testable, le nombre aléatoire est fourni :

1. Gardez les tokens du top-k et listez-les par indice d'origine (croissant).
2. Calculez softmax(logit / T) sur les tokens gardés (soustrayez le plus grand avant de calculer e^x).
3. Parcourez la liste en additionnant les probabilités ; renvoyez l'indice du premier token pour lequel le total cumulé dépasse random_value. Si cela n'arrive jamais (arrondi), renvoyez le dernier token gardé.

Avec k = 1, c'est le décodage glouton : toujours le token le plus probable.

Implémentez sample_token(logits, temperature, k, random_value).

Entrée

logits : Un score par token du vocabulaire.

temperature : T, supérieur à 0.

k : Le nombre de meilleurs tokens à garder.

random_value : Un nombre aléatoire dans [0, 1).

Sortie

Renvoyez l'indice du token choisi.

Contraintes

1 ≤ k ≤ nombre de logits ≤ 1 000

0 < temperature ≤ 100, 0 ≤ random_value < 1

-100 ≤ chaque logit ≤ 100

Exemples

Entrée :
k = 1
logits = [1.0, 3.0, 2.0, 0.5]
temperature = 1.0
random_value = 0.99

Sortie attendue :
expected = 1

Entrée :
long long k = 1;
std::vector<double> logits = {1.0, 3.0, 2.0, 0.5};
double temperature = 1.0;
double random_value = 0.99;

Sortie attendue :
long long expected = 1;

Entrée :
long k = 1;
double[] logits = new double[] {1.0, 3.0, 2.0, 0.5};
double temperature = 1.0;
double random_value = 0.99;

Sortie attendue :
long expected = 1;

Entrée :
k = 2
logits = [2.0, 1.0, 0.0]
temperature = 1.0
random_value = 0.8

Sortie attendue :
expected = 1

Entrée :
long long k = 2;
std::vector<double> logits = {2.0, 1.0, 0.0};
double temperature = 1.0;
double random_value = 0.8;

Sortie attendue :
long long expected = 1;

Entrée :
long k = 2;
double[] logits = new double[] {2.0, 1.0, 0.0};
double temperature = 1.0;
double random_value = 0.8;

Sortie attendue :
long expected = 1;

Références

Ce défi a été adapté pour CodeUtility. Suivez l'énoncé et les contraintes ci-dessus.

• Hugging Face, How to generate text: decoding methods
• Goodfellow, Bengio and Courville, Deep Learning