AI 학습 경로

C++로 Transformer의 구성 요소 만들기

9개의 챌린지로 대규모 언어 모델의 내부 동작을 배웁니다. 토크나이저와 바이트 페어 인코딩, 위치 인코딩, 셀프 어텐션, 인과적 어텐션과 멀티헤드 어텐션, 레이어 정규화, 다음 토큰 샘플링을 다룹니다. C++로 순서대로 풀어 보세요. 모든 문제는 브라우저에서 실행되며 즉시 테스트와 AI 리뷰를 받을 수 있습니다.

첫 번째 챌린지 시작

진행 상황을 저장하려면 로그인하세요.

0%해결됨

0 / 9

1

토큰화

텍스트를 토큰으로 바꿉니다: 어휘, 원-핫 벡터, BPE.

0/3
1. 1 단어 토크나이저와 어휘 사전 쉬움 C++로 풀기
2. 2 원-핫 인코딩 쉬움 C++로 풀기
3. 3 바이트 페어 인코딩(BPE) 병합 보통 C++로 풀기
2

어텐션

위치 인코딩과 셀프 어텐션, 인과적 어텐션과 멀티헤드 어텐션.

0/4
1. 1 사인파 위치 인코딩 보통 C++로 풀기
2. 2 스케일드 닷-프로덕트 어텐션 어려움 C++로 풀기
3. 3 인과적(마스크) 셀프 어텐션 보통 C++로 풀기
4. 4 멀티헤드 셀프 어텐션 어려움 C++로 풀기
3

정규화와 생성

레이어 정규화와 다음 토큰 고르기.

0/2
1. 1 레이어 정규화 보통 C++로 풀기
2. 2 온도와 Top-K 샘플링 보통 C++로 풀기