Quiz de AI & Machine Learning: How LLMs Generate Text

A large language model writes one token at a time, each chosen from a probability distribution over its vocabulary. This quiz checks how that loop works, what the context window limits, why answers vary between runs and why a chat model behaves differently from a base model.

Médio 10 perguntas ~6 minutos Aprovação com 80%

Escolha um modo

Jogando como visitante: entre para guardar seu XP e sua sequência.

Pergunta de exemplo

Pergunta 1 de 10

What is the core pretraining objective of a GPT-style language model?

Mostrar a resposta

B. Predict the next token given all the previous tokens Pretraining is next-token prediction over huge amounts of text, with the loss measuring how much probability the model gave the actual next token. Everything else, including answering questions, builds on that skill.

O que este quiz cobre

  • Next-token prediction and the autoregressive loop
  • Logits, softmax and probabilities over the vocabulary
  • Greedy decoding vs sampling
  • Context windows, statelessness and output limits
  • The KV cache and base vs instruction-tuned models

Perguntas frequentes

Preciso de uma conta?

Não. Qualquer pessoa pode jogar. Entre para guardar seu XP, sequência, badges e histórico.

Posso refazer?

Pode. Sua melhor nota fica salva, e as perguntas e respostas são embaralhadas a cada vez.