- 실행기
-
학습
Python 배우기 실행 가능한 예제, NumPy, pandas 등 AI / 머신러닝 배우기신경망, 머신러닝, LLM을 처음부터 C/C++ 배우기 포인터, 메모리, STL, 모던 C++ C# 배우기C# 기초, OOP, LINQ, async 및 .NET 연습 Matplotlib 배우기선, 막대, 산점도, 원 그래프를 시각화 도구와 함께 Rust 배우기소유권, 트레이트, 오류 처리, 스레드 Go 배우기슬라이스, 인터페이스, 고루틴, 채널 Python 알고리즘 검색, 정렬, 재귀와 시각화 도구 O(n) C/C++ 알고리즘 C와 C++ 구현 비교 어린이 코딩 놀면서 코딩을 배워요!
- 퀴즈NEW
- 문제NEW
- 교사용NEW
- 업데이트
- 커피 한 잔 사 주기
AI & Machine Learning 퀴즈: 어텐션 메커니즘
어텐션(attention)은 각 토큰이 시퀀스의 다른 토큰들로부터 정보를 끌어올 수 있게 해 줍니다. 이 어려운 퀴즈는 쿼리, 키, 값의 역할부터 마스킹, 비용, 그리고 실제로 무엇이 학습되는지까지 스케일드 닷 프로덕트 어텐션을 자세히 이해하고 있는지 확인합니다.
예시 문제
10문제 중 1번셀프 어텐션에서 쿼리, 키, 값에 대한 올바른 설명은 무엇일까요?
정답 보기
C. 쿼리는 토큰이 찾고 있는 것, 키는 각 토큰이 매칭 대상으로 내놓는 것, 값은 출력에 섞여 들어가는 내용이다 각 토큰의 쿼리를 모든 키와 비교해 점수를 얻고, 소프트맥스를 거친 점수로 값에 가중치를 줍니다. 셋 모두 같은 입력에서 나오지만 서로 다른 학습된 투영을 거치므로 각기 다른 역할을 합니다.
이 퀴즈에서 다루는 내용
- 쿼리, 키, 값의 역할
- 공식
softmax(QK^T / sqrt(d_k)) V - 점수를 키 크기의 제곱근으로 나누는 이유
- 소프트맥스 전에 음의 무한대로 마스킹하기
- 셀프 어텐션의 이차 비용과 순열에 대한 성질
자주 묻는 질문
계정이 필요한가요?
아니요. 누구나 플레이할 수 있어요. 로그인하면 XP, 연속 기록, 배지, 기록이 저장돼요.
다시 풀 수 있나요?
네. 최고 점수가 저장되고, 문제와 보기는 매번 섞여서 나와요.