AI & Machine Learning 퀴즈: 어텐션 메커니즘

어텐션(attention)은 각 토큰이 시퀀스의 다른 토큰들로부터 정보를 끌어올 수 있게 해 줍니다. 이 어려운 퀴즈는 쿼리, 키, 값의 역할부터 마스킹, 비용, 그리고 실제로 무엇이 학습되는지까지 스케일드 닷 프로덕트 어텐션을 자세히 이해하고 있는지 확인합니다.

어려움 10문제 약 8분 합격 기준 80%

모드 선택

게스트로 플레이 중이에요. 로그인하면 XP와 연속 기록이 저장돼요.

예시 문제

10문제 중 1번

셀프 어텐션에서 쿼리, 키, 값에 대한 올바른 설명은 무엇일까요?

정답 보기

C. 쿼리는 토큰이 찾고 있는 것, 키는 각 토큰이 매칭 대상으로 내놓는 것, 값은 출력에 섞여 들어가는 내용이다 각 토큰의 쿼리를 모든 키와 비교해 점수를 얻고, 소프트맥스를 거친 점수로 값에 가중치를 줍니다. 셋 모두 같은 입력에서 나오지만 서로 다른 학습된 투영을 거치므로 각기 다른 역할을 합니다.

이 퀴즈에서 다루는 내용

  • 쿼리, 키, 값의 역할
  • 공식 softmax(QK^T / sqrt(d_k)) V
  • 점수를 키 크기의 제곱근으로 나누는 이유
  • 소프트맥스 전에 음의 무한대로 마스킹하기
  • 셀프 어텐션의 이차 비용과 순열에 대한 성질

자주 묻는 질문

계정이 필요한가요?

아니요. 누구나 플레이할 수 있어요. 로그인하면 XP, 연속 기록, 배지, 기록이 저장돼요.

다시 풀 수 있나요?

네. 최고 점수가 저장되고, 문제와 보기는 매번 섞여서 나와요.