본문으로 건너뛰기
메뉴
AI 학습
학습
릴리스 노트
릴리스
도메인 자료
도메인
강의 교안
교안
검색
전체 자료 검색
검색
로그인
화면을 불러오는 중입니다
AI 원리부터 이해하기
현재 모듈
MODULE 06
NLP·트랜스포머
논문·교재·강의를 아래 순서대로 읽으며 개념을 익힙니다.
자료
23
건
첫 자료부터 시작
학습 기록
AI 기초 과정은 현재 저장·진도 기록을 지원하지 않습니다.
학습 로드맵
자료 순서대로 학습
01
토큰과 토크나이저: 글자가 숫자가 되기까지
글을 토큰 id로 바꾸는 세 방식과 BPE 병합을 손으로 학습해 보는 기초 수업
강의 · 입문자 · 첫 학습 자료
선수 지식 · 데이터를 숫자로 바꾸는 개념 · 빈도 세기 · 표 읽기
02
임베딩과 벡터 유사도: 원-핫에서 의미 공간까지
원-핫의 한계, 임베딩 조회, 내적 · 코사인 유사도를 손계산으로 익히는 기초 수업
강의 · 입문자
선수 지식 · 토큰과 토큰 id · 벡터 · 행렬 곱 · 내적과 벡터 길이
03
단어를 벡터로 효율적으로 표현하기 (word2vec)
은닉층 없는 CBOW · 스킵그램으로 대규모 단어 벡터를 싸고 빠르게 학습한 논문
논문 · 입문자
선수 지식 · 원-핫 인코딩 · 소프트맥스 · 신경망 언어 모델 · 코사인 유사도 · 확률적 경사 하강법
04
언어 모델의 기본: 다음 토큰 예측 · 퍼플렉서티 · 샘플링
다음 토큰 예측 · n-gram · 소프트맥스 · 퍼플렉서티 · 디코딩을 손계산으로 익히는 수업
강의 · 입문자
선수 지식 · 토큰과 토크나이저 · 소프트맥스 · 교차 엔트로피 · 로그 · 조건부 확률
05
순환 신경망(RNN)과 LSTM 직관
RNN 갱신식 · 기울기 소실 · LSTM 게이트를 손계산으로 익히는 기초 수업
강의 · 입문자
선수 지식 · 언어 모델과 다음 토큰 예측 · 역전파와 연쇄 법칙 · tanh · 시그모이드 · 행렬 곱
06
신경망으로 시퀀스를 시퀀스로 학습하기 (seq2seq)
LSTM 인코더-디코더로 문장을 벡터로 읽고 번역문을 풀어낸 seq2seq의 시작
논문 · 준전문가
선수 지식 · 순환 신경망(RNN) · LSTM · 소프트맥스 · 언어 모델 · BLEU 점수
07
어텐션 직관: 쿼리 · 키 · 값을 손으로 계산하기
쿼리 · 키 · 값과 softmax(QKᵀ/√d)V를 3토큰 예로 손계산하는 어텐션 기초 수업
강의 · 입문자
선수 지식 · 내적과 코사인 유사도 · 소프트맥스 · seq2seq의 고정 벡터 병목 · 행렬 곱
08
정렬과 번역을 함께 학습하는 신경망 번역 (어텐션의 시작)
번역 단어마다 원문 전체를 다시 훑는 어텐션을 신경망 번역에 처음 넣은 논문
논문 · 준전문가
선수 지식 · seq2seq(인코더-디코더) · RNN · GRU · 소프트맥스 · 가중 평균 · BLEU 점수
09
서브워드 단위로 드문 단어 번역하기 (BPE 토큰화)
BPE로 드문 단어를 서브워드 조각으로 쪼개 UNK 없는 번역을 만든 토큰화의 출발점
논문 · 준전문가
선수 지식 · 어휘와 UNK · 신경망 번역(어텐션 인코더-디코더) · 문자 n-그램 · BLEU 점수
10
위치 인코딩: 사인파 · 학습형 · RoPE · ALiBi
사인파 · 학습형 · RoPE · ALiBi 위치 인코딩을 작은 숫자로 계산하며 비교하는 수업
강의 · 준전문가
선수 지식 · 어텐션 점수와 소프트맥스 · 내적 · 삼각함수와 회전 · 트랜스포머 입력 임베딩
11
트랜스포머 블록 한 층을 손으로: 멀티헤드 · 잔차 · 정규화 · FFN
토큰 2개 · 헤드 2개 예로 트랜스포머 블록 한 층을 끝까지 손계산하는 수업
강의 · 준전문가
선수 지식 · 스케일드 내적 어텐션 · 인과 마스킹 · 레이어 정규화 · 잔차 연결 · 행렬 곱
12
어텐션만 있으면 된다 (트랜스포머)
순환 없이 어텐션만으로 번역 모델을 만든 트랜스포머 — 스케일드 닷-프로덕트 · 멀티헤드 어텐션 · 위치 인코딩의 수식과 의미
논문 · 준전문가
선수 지식 · seq2seq · 바다나우 어텐션 · 레이어 정규화 · 잔차 연결
13
인코더 · 디코더 · 인코더-디코더: BERT · GPT · T5와 사전학습 목표
BERT · GPT · T5 세 계열을 마스크와 사전학습 목표(MLM · CLM · 스팬 오염)로 비교하는 수업
강의 · 준전문가
선수 지식 · 트랜스포머 블록 · 인과 마스크 · 교차 엔트로피와 퍼플렉서티 · 교차 어텐션
14
생성적 사전학습으로 언어 이해 높이기 (GPT-1)
트랜스포머 디코더를 다음 토큰 예측으로 사전학습하고 과제별로 미세조정한 GPT의 시작
논문 · 준전문가
선수 지식 · 트랜스포머(셀프 어텐션) · 언어 모델 · 소프트맥스 · 전이 학습 · BPE 토큰화
15
BERT: 양방향 트랜스포머 사전학습
가린 언어 모델로 깊은 양방향 트랜스포머 인코더를 사전학습해 11개 과제를 휩쓴 BERT
논문 · 준전문가
선수 지식 · 트랜스포머 인코더(셀프 어텐션) · GPT-1 사전학습 + 미세조정 · 소프트맥스 · 교차 엔트로피 · WordPiece 서브워드 토큰화
16
언어 모델은 비지도 멀티태스크 학습자다 (GPT-2)
15억 파라미터 언어 모델이 미세조정 없이 프롬프트만으로 여러 과제를 푼다는 것을 보인 GPT-2
논문 · 준전문가
선수 지식 · 언어 모델 · 다음 토큰 예측 · GPT-1(트랜스포머 디코더) · BPE 토큰화 · 퍼플렉서티 · 제로샷
17
디코딩 전략: 탐욕 · 빔 · 온도 · top-k · top-p
탐욕 · 빔 · 온도 · top-k · top-p · 반복 벌점을 한 분포로 손계산하며 비교하는 수업
강의 · 준전문가
선수 지식 · 소프트맥스 · 다음 토큰 예측 · 로그 확률 · 인과 언어 모델
18
직접 해 보기: 작은 언어 모델로 디코딩 전략 비교하기
바이그램 모델로 탐욕 · 빔 · 온도 · top-k · top-p · min-p를 직접 돌려 비교하는 실습
강의 · 준전문가
선수 지식 · 디코딩 전략 · n-그램 언어 모델 · 평활화 · 파이썬 · numpy 기초
19
LLM 사전학습: 데이터 · 목표 · 학습 과정 한눈에
데이터 정제 · 배합 · 패킹부터 학습 설정 · 6ND 연산량까지 LLM 사전학습 전체를 정리하는 수업
강의 · 준전문가
선수 지식 · 토크나이저 · 인과 언어 모델 · 트랜스포머 파라미터 수 · 학습률과 옵티마이저
20
언어 모델은 퓨샷 학습자다 (GPT-3)
1,750억 파라미터 GPT-3로 미세조정 없이 프롬프트 속 예시만으로 과제를 푸는 퓨샷 학습을 보인 논문
논문 · 준전문가
선수 지식 · GPT-2(제로샷 · 프롬프트) · 트랜스포머 디코더 · 미세조정 · 스케일링 법칙 · 데이터 오염
21
이미지는 16x16 단어다 (비전 트랜스포머)
이미지를 16×16 패치 토큰으로 잘라 표준 트랜스포머로 분류한 비전 트랜스포머(ViT)
논문 · 전문가
선수 지식 · 트랜스포머 인코더 · 셀프 어텐션 · BERT의 [CLS] 토큰 · 합성곱 신경망(CNN) · ResNet · 전이 학습
22
자연어 감독으로 시각 모델 학습하기 (CLIP)
이미지-글 쌍 4억 개로 짝 맞히기 대조 학습을 해 글만으로 이미지 분류기를 만드는 CLIP
논문 · 전문가
선수 지식 · 코사인 유사도 · 임베딩 · 소프트맥스 · 교차 엔트로피 · 비전 트랜스포머(ViT) · ResNet · 제로샷 · 프롬프트
23
중간 점검: NLP · 트랜스포머
토크나이저부터 사전학습까지 NLP · 트랜스포머 트랙을 15문제로 점검하는 중간 평가
강의 · 준전문가
선수 지식 · NLP·트랜스포머 트랙 수업 전체
18
MLOps·배포
19
피지컬 AI
패키지 전체 보기
다음 모듈
LLM 활용·에이전트
