- Ausführende
-
Lernen
Python lernen Ausführbare Beispiele, NumPy, pandas und mehr KI / Machine Learning lernenNeuronale Netze, ML und LLMs von Grund auf C/C++ lernen Zeiger, Speicher, STL und modernes C++ C# lernenC#-Grundlagen, OOP, LINQ, Async und .NET-Übungen Matplotlib lernenLinien-, Balken-, Streu- und Kreisdiagramme mit interaktiven Visualisierungen Rust lernenOwnership, Traits, Fehlerbehandlung und Threads Go lernenSlices, Interfaces, Goroutinen und Channels Python-Algorithmen Suche, Sortierung, Rekursion und Visualisierungen O(n) C/C++-Algorithmen Implementierungen in C und C++ vergleichen Programmieren für Kinder Spielend programmieren lernen!
- QuizzeNeu
- AufgabenNeu
- Für LehrkräfteNeu
- Aktualisierungen
- Spendier mir einen Kaffee
AI & Machine Learning-Quiz: The Attention Mechanism
Attention lets each token pull in information from the other tokens in the sequence. This hard quiz checks that you understand scaled dot-product attention in detail, from the roles of queries, keys and values to masking, cost and what is actually learned.
Beispielfrage
Frage 1 von 10In self-attention, which description of queries, keys and values is right?
Lösung zeigen
C. A query is what a token is looking for, a key is what each token offers to be matched against, and a value is the content that gets mixed into the output Each token's query is compared with every key to get scores, and the softmaxed scores weight the values. All three come from the same input but through different learned projections, so they play different roles.
Darum geht es in diesem Quiz
- The roles of queries, keys and values
- The formula
softmax(QK^T / sqrt(d_k)) V - Why scores are divided by the square root of the key size
- Masking with negative infinity before softmax
- Quadratic cost and permutation behaviour of self-attention
Häufige Fragen
Brauche ich ein Konto?
Nein. Jeder kann spielen. Mit Anmeldung werden XP, Serie, Abzeichen und Verlauf gespeichert.
Kann ich es wiederholen?
Ja. Dein Bestwert bleibt erhalten, und Fragen und Antworten werden jedes Mal neu gemischt.