- Ejecutores
-
Aprender
Aprender Python Ejemplos ejecutables, NumPy, pandas y más Aprender IA / Machine LearningRedes neuronales, ML y LLM desde cero Aprender C y C++ Punteros, memoria, STL y C++ moderno Aprender C#Fundamentos, POO, LINQ, async y ejercicios de .NET Aprender MatplotlibGráficos de líneas, barras, dispersión y sectores con visualizadores Aprender RustOwnership, traits, manejo de errores e hilos Aprender GoSlices, interfaces, goroutines y canales Algoritmos en Python Búsqueda, ordenación, recursión y visualizadores O(n) Algoritmos en C y C++ Compara implementaciones en C y C++ Programación para niños ¡Aprende a programar jugando!
- QuizzesNuevo
- RetosNuevo
- Para docentesNuevo
- Actualizaciones
- Invítame a un café
Quiz de AI & Machine Learning: El mecanismo de atención
La atención permite que cada token recoja información de los demás tokens de la secuencia. Este quiz difícil comprueba que entiendes a fondo la atención por producto escalar escalado, desde el papel de las queries, las keys y los values hasta el enmascaramiento, el coste y lo que realmente se aprende.
Pregunta de ejemplo
Pregunta 1 de 10En la self-attention, ¿qué descripción de las queries, las keys y los values es correcta?
Ver la respuesta
C. Una query es lo que busca un token, una key es lo que cada token ofrece para compararse con ella y un value es el contenido que se mezcla en la salida La query de cada token se compara con todas las keys para obtener puntuaciones, y las puntuaciones tras softmax ponderan los values. Las tres salen de la misma entrada, pero mediante proyecciones aprendidas distintas, así que cumplen papeles diferentes.
Qué cubre este quiz
- El papel de las queries, las keys y los values
- La fórmula
softmax(QK^T / sqrt(d_k)) V - Por qué las puntuaciones se dividen por la raíz cuadrada del tamaño de las keys
- Enmascarar con menos infinito antes de softmax
- El coste cuadrático y el comportamiento ante permutaciones de la self-attention
Preguntas frecuentes
¿Necesito una cuenta?
No. Cualquiera puede jugar. Inicia sesión para guardar tu XP, racha, insignias e historial.
¿Puedo repetirlo?
Sí. Se guarda tu mejor puntuación, y las preguntas y respuestas se mezclan cada vez.