- Компиляторы
-
Обучение
Изучить Python Запускаемые примеры, NumPy, pandas и другое Изучить ИИ / машинное обучениеНейросети, ML и LLM с нуля Изучить C и C++ Указатели, память, STL и современный C++ Изучить C#Основы C#, ООП, LINQ, async и упражнения .NET Изучить MatplotlibЛинейные, столбчатые, точечные и круговые диаграммы с визуализацией Изучение RustВладение, трейты, обработка ошибок и потоки Изучение GoСрезы, интерфейсы, горутины и каналы Алгоритмы на Python Поиск, сортировка, рекурсия и визуализация O(n) Алгоритмы на C и C++ Сравнение реализаций на C и C++ Программирование для детей Учись программировать, играя!
- КвизыНовое
- ЗадачиНовое
- УчителямНовое
- Обновления
- Угостить кофе
Квиз по AI & Machine Learning: The Attention Mechanism
Attention lets each token pull in information from the other tokens in the sequence. This hard quiz checks that you understand scaled dot-product attention in detail, from the roles of queries, keys and values to masking, cost and what is actually learned.
Пример вопроса
Вопрос 1 из 10In self-attention, which description of queries, keys and values is right?
Показать ответ
C. A query is what a token is looking for, a key is what each token offers to be matched against, and a value is the content that gets mixed into the output Each token's query is compared with every key to get scores, and the softmaxed scores weight the values. All three come from the same input but through different learned projections, so they play different roles.
Что проверяет этот квиз
- The roles of queries, keys and values
- The formula
softmax(QK^T / sqrt(d_k)) V - Why scores are divided by the square root of the key size
- Masking with negative infinity before softmax
- Quadratic cost and permutation behaviour of self-attention
Частые вопросы
Нужен ли аккаунт?
Нет. Играть может любой. Войдите, чтобы сохранять XP, серию, значки и историю.
Можно пройти ещё раз?
Да. Лучший результат сохраняется, а вопросы и ответы каждый раз перемешиваются.