AI 학습 경로

Python로 Transformer의 구성 요소 만들기

9개의 챌린지로 대규모 언어 모델의 내부 동작을 배웁니다. 토크나이저와 바이트 페어 인코딩, 위치 인코딩, 셀프 어텐션, 인과적 어텐션과 멀티헤드 어텐션, 레이어 정규화, 다음 토큰 샘플링을 다룹니다. Python로 순서대로 풀어 보세요. 모든 문제는 브라우저에서 실행되며 즉시 테스트와 AI 리뷰를 받을 수 있습니다.

첫 번째 챌린지 시작

진행 상황을 저장하려면 로그인하세요.

0%해결됨

0 / 9

1

토큰화

텍스트를 토큰으로 바꿉니다: 어휘, 원-핫 벡터, BPE.

0/3
1. 1 단어 토크나이저와 어휘 사전 쉬움 Python로 풀기
2. 2 원-핫 인코딩 쉬움 Python로 풀기
3. 3 바이트 페어 인코딩(BPE) 병합 보통 Python로 풀기
2

어텐션

위치 인코딩과 셀프 어텐션, 인과적 어텐션과 멀티헤드 어텐션.

0/4
1. 1 사인파 위치 인코딩 보통 Python로 풀기
2. 2 스케일드 닷-프로덕트 어텐션 어려움 Python로 풀기
3. 3 인과적(마스크) 셀프 어텐션 보통 Python로 풀기
4. 4 멀티헤드 셀프 어텐션 어려움 Python로 풀기
3

정규화와 생성

레이어 정규화와 다음 토큰 고르기.

0/2
1. 1 레이어 정규화 보통 Python로 풀기
2. 2 온도와 Top-K 샘플링 보통 Python로 풀기