본문으로 건너뛰기
메뉴
AI 학습
학습
릴리스 노트
릴리스
도메인 자료
도메인
강의 교안
교안
검색
전체 자료 검색
검색
로그인
화면을 불러오는 중입니다
AI 원리부터 이해하기
현재 모듈
MODULE 10
스케일링·효율
논문·교재·강의를 아래 순서대로 읽으며 개념을 익힙니다.
자료
19
건
첫 자료부터 시작
학습 기록
AI 기초 과정은 현재 저장·진도 기록을 지원하지 않습니다.
학습 로드맵
자료 순서대로 학습
01
스케일링 법칙과 연산 예산: 6ND · 친칠라 · 학습 메모리 계산
C≈6ND 연산량 · 카플란 vs 친칠라 배분 · 파라미터당 16바이트 학습 메모리를 계산하는 수업
강의 · 준전문가 · 첫 학습 자료
선수 지식 · 트랜스포머 층의 파라미터 수(12d²) · 교차 엔트로피 손실 · 지수 표기와 로그 그래프 · 혼합 정밀도 개요
02
신경망 언어 모델의 스케일링 법칙
언어 모델 손실이 모델 · 데이터 · 연산에 대해 거듭제곱 법칙을 따름을 보인 스케일링 법칙 논문
논문 · 준전문가
선수 지식 · 교차 엔트로피 손실 · 트랜스포머 디코더 · 거듭제곱 함수 · 로그 그래프 · 과적합 · 조기 종료 · 배치 크기
03
연산 최적 대형 언어 모델 학습 (Chinchilla)
같은 연산이면 모델과 학습 토큰을 같은 비율로 늘려야 함을 보이고 Chinchilla로 증명한 논문
논문 · 전문가
선수 지식 · 스케일링 법칙(Kaplan 외 2020) · 학습 연산 C ≈ 6ND · 교차 엔트로피 손실 · 코사인 학습률 일정 · 거듭제곱 함수
04
LLaMA: 공개 · 효율적인 기반 언어 모델
공개 데이터로 작은 모델을 오래 학습해 GPT-3를 이긴 오픈 기반 언어 모델 LLaMA
논문 · 준전문가
선수 지식 · 트랜스포머 디코더(GPT 구조) · 스케일링 법칙 · Chinchilla · BPE 토큰화 · 제로샷 · 퓨샷 평가 · 레이어 정규화
05
수치 형식 · 혼합 정밀도 · 양자화
FP16 · BF16 · FP8 구조, 혼합 정밀도 · 손실 스케일링, INT8 · INT4 양자화를 손계산하는 수업
강의 · 준전문가
선수 지식 · 2진수와 비트 · 학습 메모리 16바이트 규칙 · 행렬 곱 · 반올림 오차
06
LoRA: 저차원 적응으로 대형 모델 미세조정
가중치를 얼리고 저랭크 행렬 BA만 학습해 큰 모델을 싸게 미세조정하는 LoRA
논문 · 준전문가
선수 지식 · 행렬 곱 · 행렬의 랭크 · 미세조정 · 어텐션의 W_q · W_k · W_v · W_o · Adam 옵티마이저 상태
07
QLoRA: 양자화한 LLM 효율적으로 미세조정
4비트로 얼린 모델 위에 LoRA만 학습해 65B 모델을 GPU 한 장으로 미세조정한 QLoRA
논문 · 전문가
선수 지식 · LoRA(저랭크 어댑터) · 부동소수점 · 정수 표현(BF16 · Int8) · 정규분포와 분위수 · 그래디언트 체크포인팅 · 지시 미세조정
08
분산 학습: 데이터 · 텐서 · 파이프라인 병렬과 ZeRO
데이터 병렬 · ZeRO 1~3 · 텐서 병렬 · 파이프라인 병렬의 메모리와 통신을 숫자로 비교하는 수업
강의 · 전문가
선수 지식 · 학습 메모리 16바이트 규칙 · 행렬 곱과 분할 · 혼합 정밀도 · 트랜스포머 블록 구조
09
추론 최적화: KV 캐시 · MQA/GQA · 배칭 · 추측 디코딩 · 서빙 지표
프리필 · 디코드, KV 캐시 공식, MQA · GQA, 연속 배칭, 추측 디코딩, TTFT · TPOT를 숫자로 익히는 수업
강의 · 준전문가
선수 지식 · 어텐션의 쿼리 · 키 · 값 · 인과 마스크와 자기회귀 생성 · 양자화와 메모리 대역폭 · GPU 메모리 개념
10
플래시어텐션: 메모리를 아끼는 정확한 어텐션
타일링과 재계산으로 HBM 접근을 줄여 정확한 어텐션을 빠르고 메모리 적게 계산한 플래시어텐션
논문 · 전문가
선수 지식 · 스케일드 닷-프로덕트 어텐션 · 소프트맥스 · GPU 메모리 계층(HBM · SRAM) · 행렬 곱 · 그래디언트 체크포인팅
11
플래시어텐션-2: 더 나은 병렬화
일 나누기와 병렬화를 고쳐 플래시어텐션을 약 2배 빠르게 한 플래시어텐션-2
논문 · 전문가
선수 지식 · 플래시어텐션(타일링 · 온라인 소프트맥스) · GPU 실행 구조(스레드 블록 · 워프 · SM) · 행렬 곱(GEMM) · 텐서 코어
12
추측 디코딩으로 트랜스포머 추론 빠르게 하기
작은 모델의 추측을 큰 모델이 병렬 검증해 출력은 그대로 추론을 2~3배 빠르게 한 추측 디코딩
논문 · 전문가
선수 지식 · 자기회귀 디코딩 · 확률 분포와 샘플링(온도 · top-k) · 기댓값 · 기하 분포 · GPU 메모리 대역폭 병목
13
PagedAttention: LLM 서빙의 메모리 관리 (vLLM)
KV 캐시를 페이지처럼 블록으로 나눠 관리해 LLM 서빙 처리량을 2~4배 높인 vLLM
논문 · 전문가
선수 지식 · 자기회귀 생성 · KV 캐시 · 셀프 어텐션 · 배칭 · 운영체제의 가상 메모리 · 페이징 · 빔 탐색 · 병렬 샘플링
14
직접 해 보기: 양자화 오차와 KV 캐시 메모리 계산하기
넘파이로 INT8 · INT4 양자화 출력 오차를 재고 가중치 · 학습 · KV 캐시 메모리 계산기를 만드는 실습
강의 · 준전문가
선수 지식 · absmax 양자화 · KV 캐시 공식 · 학습 메모리 16바이트 규칙 · 파이썬 · 넘파이 기초
15
모델 압축과 희소성: 지식 증류 · 가지치기 · 전문가 혼합
지식 증류(온도 · T²) · 가지치기 · 전문가 혼합 라우팅과 부하 균형을 손계산하는 수업
강의 · 준전문가
선수 지식 · 소프트맥스와 교차 엔트로피 · KL 발산 · 트랜스포머 FFN · 메모리와 계산 비용 구분
16
스위치 트랜스포머: 희소 전문가 혼합 (MoE)
토큰마다 전문가 하나만 쓰는 top-1 MoE로 연산은 그대로 파라미터만 키운 스위치 트랜스포머
논문 · 전문가
선수 지식 · 트랜스포머 피드포워드(FFN) 층 · 소프트맥스 · T5 · 가린 언어 모델 · 데이터 · 모델 병렬화 · 혼합 정밀도(bfloat16)
17
Mixtral: 전문가 혼합 모델
전문가 8명 중 2명만 쓰는 MoE로 활성 130억 파라미터에 Llama 2 70B급 성능을 낸 Mixtral
논문 · 전문가
선수 지식 · 전문가 혼합(MoE) · 스위치 트랜스포머 · 트랜스포머 디코더 · SwiGLU · 소프트맥스 · 지시 미세조정 · DPO
18
Mamba: 선택적 상태 공간 모델로 선형 시간 시퀀스 모델링
입력에 따라 기억·망각을 고르는 선택적 SSM으로 트랜스포머급 성능을 선형 시간에 낸 Mamba
논문 · 전문가
선수 지식 · 순환 신경망(RNN)과 게이트 · 셀프 어텐션 · KV 캐시 · 합성곱 · GPU 메모리 계층(HBM · SRAM) · 언어 모델 퍼플렉서티
19
중간 점검: 스케일링 · 효율
스케일링·효율 트랙 14문제 점검 — 연산 예산 · 양자화 · 분산 학습 · 추론 최적화 · MoE
강의 · 준전문가
선수 지식 · C≈6ND와 친칠라 배분 · 양자화와 수치 형식 · KV 캐시 공식 · ZeRO와 병렬화 · MoE 라우팅
18
MLOps·배포
19
피지컬 AI
패키지 전체 보기
다음 모듈
강화학습
