Lấy mẫu với temperature và top-k

Mô hình ngôn ngữ chọn token tiếp theo từ một phân phối xác suất. Hai thiết lập định hình phân phối đó:

• Top-k: chỉ giữ k token có logit cao nhất (nếu logit bằng nhau, chỉ số nhỏ hơn xếp trên).
• Temperature T: chia các logit được giữ cho T trước khi tính softmax. T thấp làm lựa chọn dễ đoán hơn; T cao làm nó ngẫu nhiên hơn.

Để có thể kiểm thử, số ngẫu nhiên được cho sẵn:

1. Giữ k token đứng đầu, rồi liệt kê chúng theo chỉ số ban đầu (tăng dần).
2. Tính softmax(logit / T) trên các token được giữ (trừ giá trị lớn nhất trước khi tính e^x).
3. Đi qua danh sách và cộng dồn xác suất; trả về chỉ số của token đầu tiên làm tổng cộng dồn lớn hơn random_value. Nếu không có token nào (do làm tròn), trả về token được giữ cuối cùng.

Với k = 1, đây là giải mã tham lam: luôn chọn token khả năng cao nhất.

Hãy cài đặt sample_token(logits, temperature, k, random_value).

Đầu vào

logits: Mỗi token trong từ vựng một điểm.

temperature: T, lớn hơn 0.

k: Số token đứng đầu cần giữ.

random_value: Một số ngẫu nhiên trong [0, 1).

Đầu ra

Trả về chỉ số của token được chọn.

Ràng buộc

1 ≤ k ≤ số logit ≤ 1.000

0 < temperature ≤ 100, 0 ≤ random_value < 1

-100 ≤ mỗi logit ≤ 100

Ví dụ

Đầu vào:
k = 1
logits = [1.0, 3.0, 2.0, 0.5]
temperature = 1.0
random_value = 0.99

Kết quả mong đợi:
expected = 1

Đầu vào:
long long k = 1;
std::vector<double> logits = {1.0, 3.0, 2.0, 0.5};
double temperature = 1.0;
double random_value = 0.99;

Kết quả mong đợi:
long long expected = 1;

Đầu vào:
long k = 1;
double[] logits = new double[] {1.0, 3.0, 2.0, 0.5};
double temperature = 1.0;
double random_value = 0.99;

Kết quả mong đợi:
long expected = 1;

Đầu vào:
k = 2
logits = [2.0, 1.0, 0.0]
temperature = 1.0
random_value = 0.8

Kết quả mong đợi:
expected = 1

Đầu vào:
long long k = 2;
std::vector<double> logits = {2.0, 1.0, 0.0};
double temperature = 1.0;
double random_value = 0.8;

Kết quả mong đợi:
long long expected = 1;

Đầu vào:
long k = 2;
double[] logits = new double[] {2.0, 1.0, 0.0};
double temperature = 1.0;
double random_value = 0.8;

Kết quả mong đợi:
long expected = 1;

Tham khảo

Thử thách này đã được điều chỉnh cho CodeUtility. Hãy làm theo đề bài và các ràng buộc ở trên.

• Hugging Face, How to generate text: decoding methods
• Goodfellow, Bengio and Courville, Deep Learning