Quiz de AI & Machine Learning: El mecanismo de atención

La atención permite que cada token recoja información de los demás tokens de la secuencia. Este quiz difícil comprueba que entiendes a fondo la atención por producto escalar escalado, desde el papel de las queries, las keys y los values hasta el enmascaramiento, el coste y lo que realmente se aprende.

Difícil 10 preguntas ~8 minutos Se aprueba con 80%

Elige un modo

Juegas como invitado: inicia sesión para guardar tu XP y tu racha.

Pregunta de ejemplo

Pregunta 1 de 10

En la self-attention, ¿qué descripción de las queries, las keys y los values es correcta?

Ver la respuesta

C. Una query es lo que busca un token, una key es lo que cada token ofrece para compararse con ella y un value es el contenido que se mezcla en la salida La query de cada token se compara con todas las keys para obtener puntuaciones, y las puntuaciones tras softmax ponderan los values. Las tres salen de la misma entrada, pero mediante proyecciones aprendidas distintas, así que cumplen papeles diferentes.

Qué cubre este quiz

  • El papel de las queries, las keys y los values
  • La fórmula softmax(QK^T / sqrt(d_k)) V
  • Por qué las puntuaciones se dividen por la raíz cuadrada del tamaño de las keys
  • Enmascarar con menos infinito antes de softmax
  • El coste cuadrático y el comportamiento ante permutaciones de la self-attention

Preguntas frecuentes

¿Necesito una cuenta?

No. Cualquiera puede jugar. Inicia sesión para guardar tu XP, racha, insignias e historial.

¿Puedo repetirlo?

Sí. Se guarda tu mejor puntuación, y las preguntas y respuestas se mezclan cada vez.