AI & Machine Learning 퀴즈: 토큰화와 임베딩

언어 모델이 무언가를 읽으려면 먼저 텍스트를 토큰(token)으로 나누고 각 토큰을 벡터에 대응시켜야 합니다. 이 퀴즈는 BPE 같은 서브워드 토크나이저가 어떻게 동작하는지, 임베딩(embedding)이 무엇인지, 그리고 그것이 LLM의 의외의 동작을 어떻게 설명해 주는지 확인합니다.

보통 10문제 약 6분 합격 기준 80%

모드 선택

게스트로 플레이 중이에요. 로그인하면 XP와 연속 기록이 저장돼요.

예시 문제

10문제 중 1번

대부분의 최신 언어 모델이 단어마다 토큰 하나를 쓰는 대신 서브워드 토큰화를 쓰는 이유는 무엇일까요?

정답 보기

B. 고정된 크기의 어휘로도 드물거나 처음 보는 단어를 아는 조각으로 나누어 표현할 수 있다 단어 단위 어휘는 엄청나게 커지는데도 신조어, 오타, 이름을 놓칩니다. 서브워드를 쓰면 어휘 크기를 감당할 수 있습니다. 흔한 단어는 토큰 하나로 남고, 드문 단어는 token + ization처럼 조각으로 나뉩니다.

이 퀴즈에서 다루는 내용

  • 서브워드 토큰화가 단어 단위나 문자 단위보다 나은 이유
  • 바이트 페어 인코딩(BPE)이 어휘를 만드는 방식
  • 학습된 밀집 벡터로서의 임베딩과 코사인 유사도
  • 정적 임베딩과 문맥 임베딩
  • 글자 수 세기나 영어가 아닌 텍스트 같은 토큰의 특이점

자주 묻는 질문

계정이 필요한가요?

아니요. 누구나 플레이할 수 있어요. 로그인하면 XP, 연속 기록, 배지, 기록이 저장돼요.

다시 풀 수 있나요?

네. 최고 점수가 저장되고, 문제와 보기는 매번 섞여서 나와요.