- Esecutori
-
Impara
Impara Python Esempi eseguibili, NumPy, pandas e altro Impara l'IA / Machine LearningReti neurali, ML e LLM da zero Impara C e C++ Puntatori, memoria, STL e C++ moderno Impara C#Fondamenti, OOP, LINQ, async ed esercizi .NET Impara MatplotlibGrafici a linee, barre, dispersione e torta con visualizzatori Impara RustOwnership, trait, gestione degli errori e thread Impara GoSlice, interfacce, goroutine e canali Algoritmi Python Ricerca, ordinamento, ricorsione e visualizzazioni O(n) Algoritmi C e C++ Confronta le implementazioni in C e C++ Programmazione per bambini Impara a programmare giocando!
- QuizNuovo
- SfideNuovo
- Per docentiNuovo
- Aggiornamenti
- Offrimi un caffè
Quiz di AI & Machine Learning: The Attention Mechanism
Attention lets each token pull in information from the other tokens in the sequence. This hard quiz checks that you understand scaled dot-product attention in detail, from the roles of queries, keys and values to masking, cost and what is actually learned.
Domanda di esempio
Domanda 1 di 10In self-attention, which description of queries, keys and values is right?
Mostra la risposta
C. A query is what a token is looking for, a key is what each token offers to be matched against, and a value is the content that gets mixed into the output Each token's query is compared with every key to get scores, and the softmaxed scores weight the values. All three come from the same input but through different learned projections, so they play different roles.
Cosa copre questo quiz
- The roles of queries, keys and values
- The formula
softmax(QK^T / sqrt(d_k)) V - Why scores are divided by the square root of the key size
- Masking with negative infinity before softmax
- Quadratic cost and permutation behaviour of self-attention
Domande frequenti
Serve un account?
No. Chiunque può giocare. Accedi per salvare XP, serie, badge e cronologia.
Posso rifarlo?
Sì. Il tuo miglior punteggio resta salvato, e domande e risposte vengono mescolate ogni volta.