Problema
Modelos de linguagem trabalham com tokens, não com texto bruto. Um tokenizador simples converte o texto para minúsculas e trata cada sequência de letras a-z e dígitos 0-9 como uma palavra; todo o resto (espaços, pontuação, outros caracteres) separa as palavras.
Construa o vocabulário: as palavras distintas ordenadas por frequência (a mais frequente primeiro), com empates resolvidos em ordem alfabética. A posição de uma palavra nessa lista é seu ID de token.
Implemente build_vocabulary(text).
Entrada
text: Qualquer texto.
Saída
Retorne o vocabulário como uma lista de palavras. Se o texto não tiver palavras, retorne uma lista vazia.
Restrições
0 ≤ comprimento de text ≤ 100.000
Exemplos
Entrada:
text = "The cat sat on the mat. The end!"
Saída esperada:
expected = ["the", "cat", "end", "mat", "on", "sat"]Entrada:
std::string text = "The cat sat on the mat. The end!";
Saída esperada:
std::vector<std::string> expected = {"the", "cat", "end", "mat", "on", "sat"};Entrada:
string text = "The cat sat on the mat. The end!";
Saída esperada:
string[] expected = new string[] {"the", "cat", "end", "mat", "on", "sat"};Explicação
Em minúsculas, as palavras são the, cat, sat, on, the, mat, the, end. "the" aparece 3 vezes; as outras aparecem uma vez e são ordenadas alfabeticamente: ["the", "cat", "end", "mat", "on", "sat"].
Entrada:
text = "AI, ai and A.I. (2024)"
Saída esperada:
expected = ["ai", "2024", "a", "and", "i"]Entrada:
std::string text = "AI, ai and A.I. (2024)";
Saída esperada:
std::vector<std::string> expected = {"ai", "2024", "a", "and", "i"};Entrada:
string text = "AI, ai and A.I. (2024)";
Saída esperada:
string[] expected = new string[] {"ai", "2024", "a", "and", "i"};Explicação
Palavras: ai, ai, and, a, i, 2024. "ai" aparece duas vezes; as outras uma vez, em ordem alfabética com dígitos antes das letras: ["ai", "2024", "a", "and", "i"].
Referências
Este desafio foi adaptado para o CodeUtility. Siga o enunciado e as restrições acima.