중간 점검: 정렬

중간 점검: 정렬

정렬 트랙을 마무리하는 확인 문제입니다. RLHF 세 단계, 보상 모델 손실, KL 페널티, 보상 과최적화, DPO, KTO, 헌법적 AI · RLAIF, GRPO · 검증 가능한 보상, 레드팀까지 13문제로 점검합니다. 계산 문제는 직접 손으로 풀어 본 뒤 풀이를 확인하세요. 각 풀이 끝에 다시 볼 수업을 적어 두었습니다.

들어가기 전에

• 위 범위의 수업을 한 번씩 읽었다고 가정합니다. 특히 정렬 개요와 선호 최적화의 확장의 식을 쓰는 문제가 많습니다.
• 시그모이드 $\sigma(z)=1/(1+e^{-z})$ 값은 계산기를 써도 됩니다.

한눈에 보기

• 개념: 정렬의 목표, RLHF 단계별 역할, 보상 해킹, DPO의 핵심 아이디어, AI 피드백, 레드팀
• 계산: 브래들리-테리 손실, KL 페널티 보상, DPO 손실과 가중치, GRPO 이점, best-of-$n$ KL
• 설계 판단: 주어진 상황에서 어떤 정렬 방법을 고를지
• 70% 이상 맞혔다면 다음 트랙으로 넘어가도 좋습니다. 계산 문제를 틀렸다면 넘파이 실습을 직접 돌려 보세요.

123456flowchart LR
  A[문제 풀기] --> B{풀이와 비교}
  B -->|맞음| C[다음 문제]
  B -->|틀림| D[표시된 수업 다시 보기]
  D --> A
  C --> E[13문제 끝 → 점수 확인]

개념 문제

문제 1. InstructGPT가 따른 정렬의 정의에서 '정렬된 모델'의 세 가지 성질은 무엇인가요?

• 풀이: 도움이 되고(helpful), 정직하고(honest), 무해한(harmless) 것입니다. InstructGPT는 Askell 외(2021)의 틀을 따르면서, 실용적으로는 '사용자의 의도에 맞게 행동하는 것'을 목표로 두었습니다. → 192

문제 2. RLHF의 세 단계 이름과, 각 단계에 필요한 사람 데이터의 종류를 짝지으세요.

• 풀이: ① SFT — 프롬프트에 대한 사람의 모범 답, ② 보상 모델 학습 — 같은 프롬프트의 여러 답에 대한 비교 · 순위, ③ PPO — 사람 라벨 없이 프롬프트만(보상은 보상 모델이 줌). InstructGPT 기준 프롬프트 수는 각각 약 1만 3천, 3만 3천, 3만 1천 개였습니다. → 45

문제 3. Christiano 외(2017)가 보인 '사람 선호로 하는 강화학습'의 핵심 성과를 한 문장으로 말해 보세요.

• 풀이: 보상 함수 없이 사람이 궤적 조각 쌍 중 나은 쪽을 고른 비교만으로 아타리 게임과 모의 로봇 이동 같은 과제를 풀었고, 에이전트 상호작용의 1% 미만에만 피드백을 주었다는 점입니다. 약 1시간의 사람 시간으로 새로운 행동도 학습시켰습니다. → 44

문제 4. 보상 해킹과 보상 과최적화는 어떻게 다르고, 어떻게 연결되나요?

• 풀이: 보상 해킹은 정책이 채점기(보상 모델)의 허점을 파고드는 행동 이고, 보상 과최적화는 그 결과로 대리 보상은 계속 오르는데 진짜 품질(정답 보상)은 어느 지점부터 떨어지는 현상 입니다. Gao 외(2022)는 정답 보상이 KL 거리에 따라 오르다 내려가는 꼴을 측정했습니다. → 192

문제 5. DPO가 "보상 모델이 필요 없다"고 말할 수 있는 수학적 이유는?

• 풀이: KL 페널티가 붙은 보상 최대화의 최적 정책이 $\pi^*\propto\pi_{ref}\exp(r/\beta)$ 로 닫힌 꼴이라, 보상을 $r=\beta\log(\pi/\pi_{ref})+\beta\log Z(x)$ 로 정책에 대해 쓸 수 있기 때문입니다. 두 답의 보상 차이에서는 $Z(x)$ 가 지워지므로, 브래들리-테리 손실을 정책만으로 쓸 수 있습니다. → 193

문제 6. DeepSeek-R1-Zero 학습에서 학습된(신경망) 보상 모델 대신 규칙 기반 보상을 쓴 이유는 무엇이었고, 그 보상은 어떤 두 종류였나요?

• 풀이: 대규모 강화학습에서 신경망 보상 모델이 보상 해킹에 취약하고, 다시 학습하는 데 자원과 복잡도가 더해진다고 보았기 때문입니다. 보상은 답이 맞는지 보는 정확도 보상과, 생각 과정을 정해진 형식에 담았는지 보는 형식 보상이었습니다. 논문은 R1-Zero의 AIME 2024 pass@1이 학습 중 15.6%에서 77.9%로 올랐다고 보고합니다. → 80

계산 문제

문제 7. 보상 모델이 선호된 답에 1, 덜 선호된 답에 3을 매겼습니다. 브래들리-테리 손실은? ($\sigma(-2)\approx0.119$)

• 풀이: $-\log\sigma(1-3)=-\ln0.119\approx2.13$ 입니다. 순서를 거꾸로 매겨 손실이 큽니다. 이때 $r_w$ 쪽 기울기 크기는 $1-\sigma(-2)\approx0.881$ 로, 크게 고쳐집니다. → 192

문제 8. 라벨러가 한 프롬프트에 답 6개를 순위로 매기면 비교 쌍은 몇 개이고, InstructGPT는 이 쌍들을 어떻게 학습했나요?

• 풀이: $\binom62=15$ 쌍입니다. 쌍을 따로 섞어 여러 번 쓰면 과적합이 생겨, 한 프롬프트의 모든 쌍을 한 배치 원소로 묶어 학습했습니다(손실 앞에 $1/\binom K2$). → 192

문제 9. 보상 모델 점수가 1.0이고, 답 전체의 토큰별 로그 비 $\log(\pi^{RL}/\pi^{SFT})$ 합이 1.5입니다. InstructGPT의 $\beta=0.02$ 로 KL 페널티를 반영한 보상은?

• 풀이: $1.0-0.02\times1.5=0.97$ 입니다. $\beta$ 가 작아 벌점이 작지만, 정책이 SFT에서 멀어질수록 로그 비 합이 커져 벌점도 커집니다. → 192

문제 10. DPO에서 $\beta=0.2$, 학습 모델의 로그 확률이 $y_w$: −20, $y_l$: −25, 기준 모델이 $y_w$: −22, $y_l$: −24 입니다. 암묵적 보상 차이, 손실, 기울기 가중치를 구하세요. ($\sigma(0.6)\approx0.646$)

• 풀이: $\hat r_w=0.2\times(-20+22)=0.4$, $\hat r_l=0.2\times(-25+24)=-0.2$, 차이 $0.6$. 손실 $-\ln0.646\approx0.438$. 가중치 $\sigma(\hat r_l-\hat r_w)=\sigma(-0.6)\approx0.354$ 입니다. 순서는 맞게 매겼지만 차이가 작아 아직 꽤 큰 가중치로 학습합니다. → 193

문제 11. GRPO로 한 질문에 답 4개를 뽑아 보상 $(2, 0, 1, 1)$ 을 받았습니다. 그룹 상대 이점은? (모집단 표준편차 사용) 그리고 best-of-8의 KL은? ($\ln8\approx2.079$)

• 풀이: 평균 1, 표준편차 $\sqrt{(1+1+0+0)/4}=0.707$ → 이점 $(1.414,\ -1.414,\ 0,\ 0)$. 평균과 같은 답은 강화도 약화도 되지 않습니다. best-of-8 KL은 $\ln8-\tfrac78\approx2.079-0.875=1.204$ 입니다. → 193 · 192

설계 판단 문제

문제 12. 다음 세 상황에 가장 알맞은 방법을 고르고 이유를 말하세요. (가) 사내 챗봇의 '좋아요/싫어요' 로그만 수만 건 있다. (나) 코딩 문제와 단위 테스트가 수천 개 있다. (다) 유해 질문에 대한 거절 품질을 높이고 싶은데, 사람이 해로운 내용을 계속 읽고 판정하게 하기 어렵다.

• 풀이: (가) KTO — 쌍이 아닌 답 하나의 바람직함 신호로 학습합니다. (나) 검증 가능한 보상(RLVR) + GRPO 같은 강화학습 — 테스트 통과 여부를 보상으로 써 학습된 보상 모델의 허점을 줄입니다. (다) 헌법적 AI · RLAIF — 원칙 목록에 따라 AI가 비평 · 수정 · 판정하므로 유해성에 대한 사람 라벨이 필요 없습니다. 다만 AI 판정자의 편향은 사람 평가로 주기적으로 확인해야 합니다. → 193

문제 13. 팀원이 "DPO는 보상 모델이 없으니 보상 해킹 걱정이 없고, $\beta$ 만 있으면 기준 모델에서 너무 멀어지지도 않는다"고 말합니다. 넘파이 실습 결과를 근거로 반박해 보세요.

• 풀이: 실습 2부에서 선호가 늘 같은 방향인 데이터로 DPO를 돌리자 $\beta=0.1$ 에서도 확률이 $(1,0,0,0)$ 으로 끝까지 몰렸습니다. $\beta$ 가 있어도 데이터가 '항상 이긴다'고 말하면 멈추지 않습니다. 또 3부에서 결과가 $\pi_{ref}\exp(r/\beta)$ 이므로 기준 모델이 나쁜 답을 좋아하면 그 선호가 그대로 남았습니다($(0,0,0,2)$ 기준에서 최악의 답이 27.6%). 즉 DPO도 데이터 치우침과 기준 모델 품질에 크게 좌우되며, 실제 품질은 별도 평가로 확인해야 합니다. → 194

점수 보는 법

스스로 점검

1. RLHF · DPO · GRPO를 "보상이 어디서 오는가"로 한 줄씩 구분해 보세요.
   • 답: RLHF는 사람 비교로 학습한 보상 모델, DPO는 정책 확률 비에 숨은 암묵적 보상, GRPO(RLVR)는 정답 검증기나 보상 모델의 점수를 그룹 평균과 비교한 상대 점수입니다.
2. KL 페널티 · $\beta$ 가 공통으로 하는 일은?
   • 답: 학습 중인 정책이 기준 모델(SFT)에서 너무 멀어지지 않게 해, 보상 모델 허점 공략과 언어 능력 붕괴를 막는 일입니다.
3. 레드팀 결과는 정렬 학습 고리에서 어디로 돌아가나요?
   • 답: 찾아낸 실패 사례가 선호 · 거절 데이터로 보강되어 다음 정렬 학습에 쓰이고, 재학습 뒤 다시 레드팀으로 확인합니다.

용어 정리

다음에 볼 것

• 스케일링 법칙과 연산 예산: 6ND · 친칠라 · 학습 메모리 계산 — 다음 트랙(스케일링 · 효율)의 첫 수업
• DeepSeek-R1: 강화학습으로 추론 능력 끌어내기 — 정렬 · 강화학습 기법이 추론 모델로 이어진 사례

라이선스

문제와 풀이는 KAITABASE 자체 작성입니다. 계산 문제의 숫자는 해설용으로 만든 값이며 파이썬으로 검산했습니다. 논문 수치(데이터 규모, $\beta=0.02$, AIME 15.6% → 77.9% 등)는 각 원문에서 확인한 것만 옮겼습니다.

출처

• Ouyang 외, InstructGPT (2022): arxiv.org/abs/2203.02155
• Christiano 외, Deep reinforcement learning from human preferences (2017): arxiv.org/abs/1706.03741
• Gao 외, Scaling Laws for Reward Model Overoptimization (2022): arxiv.org/abs/2210.10760
• Rafailov 외, Direct Preference Optimization (2023): arxiv.org/abs/2305.18290
• Ethayarajh 외, KTO (2024): arxiv.org/abs/2402.01306
• Bai 외, Constitutional AI (2022): arxiv.org/abs/2212.08073
• Shao 외, DeepSeekMath (2024): arxiv.org/abs/2402.03300
• DeepSeek-AI, DeepSeek-R1 (2025): arxiv.org/abs/2501.12948