본문으로 건너뛰기
메뉴
AI 학습
학습
릴리스 노트
릴리스
도메인 자료
도메인
강의 교안
교안
검색
전체 자료 검색
검색
로그인
화면을 불러오는 중입니다
AI 원리부터 이해하기
현재 모듈
MODULE 11
강화학습
논문·교재·강의를 아래 순서대로 읽으며 개념을 익힙니다.
자료
31
건
첫 자료부터 시작
학습 기록
AI 기초 과정은 현재 저장·진도 기록을 지원하지 않습니다.
학습 로드맵
자료 순서대로 학습
01
강화학습 입문 (Sutton · Barto, 2판)
슬롯머신 · MDP · 벨만 방정식 · 가치 반복을 3칸 격자 손계산으로 배우는 강화학습 첫 수업
교재 · 입문자 · 첫 학습 자료
선수 지식 · 확률과 기댓값 · 조건부 확률 · 합 기호 읽기
02
탐험 심화: ε-탐욕을 넘어 UCB · 톰슨 샘플링 · 후회(regret)
낙관적 초깃값 · UCB · 경사 밴딧 · 톰슨 샘플링과 후회를 손계산으로 비교하는 탐험 수업
강의 · 입문자
선수 지식 · 슬롯머신 문제와 ε-탐욕 · 표본 평균 갱신 · 기댓값 · 분산 · 베이즈 정리
03
Hugging Face 딥 강화학습 강좌
몬테카를로 · TD · Q-러닝 · SARSA를 손계산하고 DQN의 리플레이 버퍼 · 타깃 네트워크까지 잇는 수업
강의 · 입문자
선수 지식 · MDP와 벨만 방정식 · 할인된 반환 · ε-탐욕 · 경사 하강법
04
직접 해 보기: 그리드월드 Q-러닝 (절벽 걷기로 Q-러닝 vs SARSA)
NumPy로 절벽 걷기 격자를 만들어 Q-러닝과 SARSA를 직접 돌려 비교하는 실습
강의 · 입문자
선수 지식 · Q-러닝 · SARSA 갱신식 · ε-탐욕 · 파이썬 · NumPy 기초 · 할인된 반환
05
함수 근사: 표에서 신경망으로 (선형 가치 근사 · 반경사 TD · 치명적 삼중주)
선형 가치 근사 · 반경사 TD · w-2w 발산 예 · 치명적 삼중주로 DQN 장치를 이해하는 수업
강의 · 준전문가
선수 지식 · TD 학습 · Q-러닝 · SARSA · 경사 하강법과 기울기 · 벡터 내적 · 할인된 반환
06
OpenAI Spinning Up: 딥 강화학습 입문
로그 미분 트릭으로 정책 경사를 유도하고 reward-to-go · 기준값 · 액터-크리틱까지 손계산하는 수업
강의 · 입문자
선수 지식 · MDP와 가치 함수 · Q-러닝 · 소프트맥스와 로그 확률 · 경사 하강법
07
정책 최적화 실전: A2C · 신뢰 영역 · PPO 클리핑 · GAE 손계산
A2C 루프 · 확률비 · PPO-Clip 다섯 경우 · GAE를 손계산하고 실전 기본값까지 정리하는 수업
강의 · 준전문가
선수 지식 · 정책 경사와 로그 미분 트릭 · 기준값과 어드밴티지 · 액터-크리틱 · KL 발산
08
모델 기반 강화학습과 계획: Dyna-Q · 몬테카를로 트리 탐색(UCT · PUCT) · 월드 모델 지도
Dyna-Q 실행 결과 · MCTS 4단계 · UCT/PUCT 손계산으로 모델 기반 RL 지도를 그리는 수업
강의 · 준전문가
선수 지식 · Q-러닝 · UCB 행동 선택 · 정책망 · 가치망 · 몬테카를로 평균
09
중간 점검: 강화학습 기초 15문제
MDP부터 PPO · GAE · PUCT까지 강화학습 기초 수업 8개를 15문제로 점검하는 중간 점검
강의 · 입문자
선수 지식 · MDP와 벨만 방정식 · TD · Q-러닝 · SARSA · 정책 경사와 PPO · MCTS와 PUCT
10
딥 강화학습으로 아타리 게임하기 (DQN)
픽셀만 보고 아타리 게임을 배운 첫 딥 강화학습 모델 — Q-네트워크와 경험 재생
논문 · 준전문가
선수 지식 · Q-러닝과 벨만 방정식 · 합성곱 신경망 · 확률적 경사 하강법 · ε-탐욕 탐색
11
딥 강화학습으로 사람 수준의 제어 (DQN, Nature 판)
목표 네트워크를 더한 DQN으로 아타리 49개 게임에서 사람 수준에 다가선 Nature 논문
논문 · 준전문가
선수 지식 · Q-러닝과 벨만 방정식 · 합성곱 신경망 · 경험 재생 · ε-탐욕 탐색
12
이중 Q-러닝 딥 강화학습 (Double DQN)
DQN의 과대평가를 고르기 · 값 매기기 분리로 줄인 Double DQN — 식 한 줄로 큰 개선
논문 · 준전문가
선수 지식 · Q-러닝 · DQN과 목표 네트워크 · 편향과 분산 · argmax와 max의 차이
13
듀얼링 네트워크 구조 (Dueling DQN)
Q-네트워크를 상태 가치와 어드밴티지 두 갈래로 나눈 듀얼링 구조 — 구조만 바꿔 성능 향상
논문 · 준전문가
선수 지식 · 상태 가치와 행동 가치 함수 · DQN과 Double DQN · 합성곱 신경망 · 어드밴티지 개념
14
우선순위 경험 재생
TD 오차가 큰 경험을 더 자주 다시 보는 우선순위 재생 — 학습 두 배 빠르게
논문 · 준전문가
선수 지식 · DQN과 경험 재생 · TD 오차 · Double DQN · 중요도 샘플링
15
Rainbow: DQN 개선 기법 결합
DQN 개선 6가지를 한데 합친 Rainbow — 아타리 57게임 최고, 핵심은 우선순위 재생 · 다단계
논문 · 전문가
선수 지식 · DQN과 Double DQN · 우선순위 경험 재생 · 듀얼링 네트워크 · n단계 이득 · KL 발산
16
비동기 딥 강화학습 (A3C)
경험 재생 대신 병렬 스레드로 상관을 끊은 비동기 액터-크리틱, CPU만으로 아타리 최고 기록
논문 · 전문가
선수 지식 · Q-러닝 · DQN과 경험 재생 · 정책 경사(REINFORCE) · 가치 함수 · 엔트로피
17
신뢰 영역 정책 최적화 (TRPO)
옛 정책과의 KL 발산을 δ 이하로 묶어 정책을 안전하게 개선하는 신뢰 영역 정책 최적화
논문 · 전문가
선수 지식 · 정책 경사 · 어드밴티지 함수 · KL 발산 · 중요도 샘플링 · 켤레 기울기법
18
일반화 어드밴티지 추정 (GAE)
TD 오차를 γλ로 할인해 더하는 어드밴티지 추정 — λ 하나로 편향과 분산을 조절
논문 · 전문가
선수 지식 · 정책 경사 · 어드밴티지 함수 · TD 오차 · TD(λ) · TRPO
19
근접 정책 최적화 (PPO)
확률비를 1±ε로 잘라 정책을 조금씩만 바꾸는, 단순하고 안정적인 정책 최적화
논문 · 전문가
선수 지식 · 정책 경사 · 어드밴티지와 GAE · TRPO와 KL 발산 · 중요도 샘플링 · Adam 옵티마이저
20
연속 제어를 위한 딥 강화학습 (DDPG)
DQN의 경험 재생 · 타깃 네트워크를 결정론적 정책 경사에 옮겨 연속 행동을 학습
논문 · 전문가
선수 지식 · Q-러닝과 벨만 방정식 · DQN(경험 재생 · 타깃 네트워크) · 액터-크리틱 · 연쇄 법칙 · 배치 정규화
21
액터-크리틱의 함수 근사 오차 줄이기 (TD3)
크리틱 둘 중 작은 값 · 정책 지연 갱신 · 목표 잡음으로 DDPG의 과대추정을 줄인 TD3
논문 · 전문가
선수 지식 · Q-러닝과 벨만 방정식 · DQN 목표 네트워크 · 경험 재생 · Double Q-러닝 · DDPG 결정적 정책 경사
22
소프트 액터-크리틱 (SAC)
보상과 엔트로피를 함께 최대화하는 오프폴리시 확률적 액터-크리틱, SAC
논문 · 전문가
선수 지식 · 정책 반복(평가 · 개선) · Q 함수와 가치 함수 · 엔트로피와 KL 발산 · DDPG와 경험 재생
23
신경망과 트리 탐색으로 바둑 정복하기 (AlphaGo)
정책망 · 가치망을 몬테카를로 트리 탐색에 결합해 처음으로 프로 기사를 이긴 AlphaGo
논문 · 전문가
선수 지식 · 게임 트리와 미니맥스 탐색 · 몬테카를로 트리 탐색(MCTS) · 합성곱 신경망 · 정책 경사(REINFORCE)
24
사람 지식 없이 바둑 정복하기 (AlphaGo Zero)
사람 기보 없이 자기 대국 강화학습만으로 이전 AlphaGo를 100대 0으로 이긴 AlphaGo Zero
논문 · 전문가
선수 지식 · AlphaGo의 정책망 · 가치망 · MCTS · 정책 반복 · 잔차 신경망(ResNet) · 교차 엔트로피와 평균 제곱 오차
25
자기 대국으로 체스 · 쇼기 정복 (AlphaZero)
AlphaGo Zero를 일반화해 체스 · 쇼기 · 바둑을 규칙만으로 24시간 안에 정복한 AlphaZero
논문 · 전문가
선수 지식 · AlphaGo Zero (신경망 + MCTS 자기 대국) · 알파-베타 탐색과 평가 함수 · 교차 엔트로피와 평균 제곱 오차 · Elo 점수
26
학습한 모델로 계획하기 (MuZero)
규칙 없이 스스로 배운 모델 위에서 트리 탐색해 아타리 · 바둑 · 체스 · 쇼기 정복
논문 · 전문가
선수 지식 · 마르코프 결정 과정(MDP) · 몬테카를로 트리 탐색(MCTS) · AlphaZero · 가치 함수와 정책 · 순환 신경망 · 역전파
27
월드 모델
VAE · MDN-RNN · 작은 조종기로 나눈 에이전트, 모델이 만든 꿈속에서 학습해 실제로 옮김
논문 · 전문가
선수 지식 · 변분 오토인코더(VAE) · 순환 신경망(LSTM) · 가우시안 혼합 분포 · 진화 전략(CMA-ES) · 강화학습 기본 개념
28
잠재 공간 상상으로 행동 학습 (Dreamer)
월드 모델의 잠재 공간에서 상상한 궤적으로 가치 기울기를 역전파해 행동을 배우는 에이전트
논문 · 전문가
선수 지식 · 액터-크리틱 · 가치 함수와 TD(λ) · 재매개변수화(VAE) · 월드 모델 · 잠재 동역학 · 순환 신경망
29
오프라인 강화학습 튜토리얼 · 리뷰
이미 모은 데이터만으로 정책을 배우는 오프라인 강화학습의 난제(분포 이동)와 해법 총정리
논문 · 전문가
선수 지식 · MDP와 벨만 방정식 · Q-러닝 · 액터-크리틱 · 중요도 샘플링 · KL 발산 · 정책 경사
30
보수적 Q-러닝 (CQL)
Q 함수에 벌점을 더해 정책 가치의 하한을 학습, 오프라인 강화학습의 과대평가를 막음
논문 · 전문가
선수 지식 · Q-러닝과 벨만 연산자 · 액터-크리틱(SAC) · 오프라인 강화학습 · 분포 이동 · 소프트맥스 · log-sum-exp
31
결정 트랜스포머: 시퀀스 모델링으로 하는 강화학습
강화학습을 GPT식 시퀀스 모델링으로 — 목표 수익을 조건으로 다음 행동을 생성
논문 · 전문가
선수 지식 · 트랜스포머 · 셀프 어텐션 · GPT(자기회귀 언어 모델) · 오프라인 강화학습 · 행동 복제 · TD 학습
18
MLOps·배포
19
피지컬 AI
패키지 전체 보기
다음 모듈
생성 모델
