- 실행기
-
학습
Python 배우기 실행 가능한 예제, NumPy, pandas 등 AI / 머신러닝 배우기신경망, 머신러닝, LLM을 처음부터 C/C++ 배우기 포인터, 메모리, STL, 모던 C++ C# 배우기C# 기초, OOP, LINQ, async 및 .NET 연습 Matplotlib 배우기선, 막대, 산점도, 원 그래프를 시각화 도구와 함께 Rust 배우기소유권, 트레이트, 오류 처리, 스레드 Go 배우기슬라이스, 인터페이스, 고루틴, 채널 Python 알고리즘 검색, 정렬, 재귀와 시각화 도구 O(n) C/C++ 알고리즘 C와 C++ 구현 비교 어린이 코딩 놀면서 코딩을 배워요!
- 퀴즈NEW
- 문제NEW
- 교사용NEW
- 업데이트
- 커피 한 잔 사 주기
AI & Machine Learning 퀴즈: 토큰화와 임베딩
언어 모델이 무언가를 읽으려면 먼저 텍스트를 토큰(token)으로 나누고 각 토큰을 벡터에 대응시켜야 합니다. 이 퀴즈는 BPE 같은 서브워드 토크나이저가 어떻게 동작하는지, 임베딩(embedding)이 무엇인지, 그리고 그것이 LLM의 의외의 동작을 어떻게 설명해 주는지 확인합니다.
예시 문제
10문제 중 1번대부분의 최신 언어 모델이 단어마다 토큰 하나를 쓰는 대신 서브워드 토큰화를 쓰는 이유는 무엇일까요?
정답 보기
B. 고정된 크기의 어휘로도 드물거나 처음 보는 단어를 아는 조각으로 나누어 표현할 수 있다 단어 단위 어휘는 엄청나게 커지는데도 신조어, 오타, 이름을 놓칩니다. 서브워드를 쓰면 어휘 크기를 감당할 수 있습니다. 흔한 단어는 토큰 하나로 남고, 드문 단어는 token + ization처럼 조각으로 나뉩니다.
이 퀴즈에서 다루는 내용
- 서브워드 토큰화가 단어 단위나 문자 단위보다 나은 이유
- 바이트 페어 인코딩(BPE)이 어휘를 만드는 방식
- 학습된 밀집 벡터로서의 임베딩과 코사인 유사도
- 정적 임베딩과 문맥 임베딩
- 글자 수 세기나 영어가 아닌 텍스트 같은 토큰의 특이점
자주 묻는 질문
계정이 필요한가요?
아니요. 누구나 플레이할 수 있어요. 로그인하면 XP, 연속 기록, 배지, 기록이 저장돼요.
다시 풀 수 있나요?
네. 최고 점수가 저장되고, 문제와 보기는 매번 섞여서 나와요.