MODULE 09

정렬

논문·교재·강의를 아래 순서대로 읽으며 개념을 익힙니다.

자료 10건

첫 자료부터 시작

학습 기록

AI 기초 과정은 현재 저장·진도 기록을 지원하지 않습니다.

학습 로드맵

자료 순서대로 학습

01정렬 개요와 RLHF 파이프라인: SFT · 보상 모델 · PPO · KL 페널티RLHF 세 단계와 보상 모델 손실 · KL 페널티 · 과최적화를 숫자로 익히는 정렬 입문 수업강의 · 준전문가 · 첫 학습 자료선수 지식 · 언어 모델과 토큰 확률 · KL 발산 · PPO 개요 · 지도 미세조정(SFT)
02사람 선호로 하는 딥 강화학습 (RLHF의 시작)사람의 영상 쌍 비교로 보상 모델을 배워 강화학습 — RLHF의 출발점논문 · 전문가선수 지식 · 강화학습 기본(정책 · 보상) · 정책 경사(A2C · TRPO) · 로지스틱 회귀 · 교차 엔트로피 · 앙상블
03사람 피드백으로 지시를 따르게 학습하기 (InstructGPT)SFT → 보상 모델 → PPO 3단계로 GPT-3를 지시 따르게 만든 RLHF 논문논문 · 준전문가선수 지식 · GPT-3 · 사전학습 언어 모델 · 지도 미세조정 · 브래들리-테리 보상 모델 · PPO · KL 발산
04직접 선호 최적화 (DPO)보상 모델 · 강화학습 없이 선호 쌍 분류 손실 하나로 RLHF 목적을 푸는 방법논문 · 전문가선수 지식 · RLHF 파이프라인(SFT · 보상 모델 · PPO) · 브래들리-테리 모델 · KL 발산 · 시그모이드 · 교차 엔트로피
05헌법적 AI: AI 피드백으로 무해성 학습원칙 목록과 AI 피드백만으로 무해하면서 회피하지 않는 비서를 학습(RLAIF)논문 · 전문가선수 지식 · RLHF(보상 · 선호 모델, PPO) · InstructGPT · 생각의 사슬 프롬프팅 · 퓨샷 프롬프팅
06선호 최적화의 확장: DPO 계열 · AI 피드백 · 검증 가능한 보상 · 레드팀DPO · KTO · RLAIF · 헌법적 AI · GRPO · 레드팀을 식과 손계산으로 정리하는 정렬 심화 수업강의 · 전문가선수 지식 · RLHF 파이프라인 · 브래들리-테리 손실 · KL 발산 · PPO 개요
07직접 해 보기: 보상 모델과 DPO 손실을 넘파이로 계산하기브래들리-테리 보상 모델 학습과 DPO 손실 · 기울기를 넘파이로 직접 돌려 보는 실습강의 · 준전문가선수 지식 · 브래들리-테리 손실 · DPO 손실 · 소프트맥스와 로그 확률 · 경사하강법 · 넘파이
08DeepSeekMath: GRPO로 수학 추론 끌어올리기웹 수학 데이터 120B 토큰과 크리틱 없는 GRPO로 7B 모델이 MATH 51.7%논문 · 전문가선수 지식 · PPO(클리핑 · 어드밴티지) · RLHF와 KL 페널티 · 보상 모델 · 생각의 사슬 프롬프팅
09DeepSeek-R1: 강화학습으로 추론 능력 끌어내기정답 여부만 보상하는 순수 RL(GRPO)로 LLM에 긴 추론과 자기 검증을 끌어냄논문 · 전문가선수 지식 · GRPO(DeepSeekMath) · PPO와 KL 페널티 · 생각의 사슬 프롬프팅 · 보상 모델과 보상 해킹 · 지식 증류
10중간 점검: 정렬RLHF · 보상 모델 · DPO · GRPO · 레드팀을 13문제로 확인하는 정렬 트랙 중간 점검강의 · 준전문가선수 지식 · RLHF 파이프라인 · DPO · GRPO · 헌법적 AI · RLAIF