선호 최적화의 확장: DPO 계열 · AI 피드백 · 검증 가능한 보상 · 레드팀

선호 최적화의 확장: DPO 계열 · AI 피드백 · 검증 가능한 보상 · 레드팀

RLHF는 잘 작동하지만 보상 모델을 따로 학습하고 PPO를 돌려야 해서 무겁습니다. 그 뒤로 세 갈래의 단순화 · 확장이 나왔습니다. ① 보상 모델과 강화학습을 없애고 선호 데이터로 바로 학습하는 DPO 계열, ② 사람 대신 AI가 피드백을 주는 RLAIF · 헌법적 AI, ③ 정답을 자동으로 확인할 수 있는 문제에서 검증 가능한 보상 으로 강화학습하는 방법(GRPO 등)입니다. 이 수업은 세 갈래를 식과 손계산으로 정리하고, 정렬이 잘 되었는지 공격해 보며 확인하는 레드팀 을 다룹니다.

들어가기 전에

• 정렬 개요와 RLHF 파이프라인 — 브래들리-테리 손실과 KL 페널티 목적식. 이 수업은 그 식에서 출발합니다.
• 직접 선호 최적화 (DPO) · 헌법적 AI — 원 논문 해설. 먼저 읽으면 좋지만, 핵심은 여기서 다시 설명합니다.
• 정보 이론 최소한: 엔트로피 · 교차 엔트로피 · KL 발산 — 로그 확률 비와 KL.

한눈에 보기

• DPO가 "보상 모델 없이" 선호를 학습할 수 있는 이유를 한 줄 유도로 이해합니다.
• DPO 손실과 '틀린 쌍일수록 큰 가중치'를 숫자로 계산합니다.
• KTO처럼 쌍이 아닌 '좋다/나쁘다' 신호만으로 학습하는 방법이 있다는 것을 압니다.
• 헌법적 AI와 RLAIF가 사람 라벨을 어디서 어떻게 줄이는지 압니다.
• GRPO가 가치 모델 없이 그룹 평균으로 이점을 계산하는 방식을 손으로 해 봅니다.
• 레드팀이 정렬 작업에서 맡는 역할을 압니다.

1. DPO: 보상 모델을 정책 안에 숨기기

직관(해설용 비유). RLHF는 "채점기를 만든 다음, 채점기 점수를 올리도록 학생을 훈련"합니다. DPO는 "학생의 답안 확률 자체를 채점 점수로 쓰자"고 합니다. 학생이 좋은 답을 기준 모델보다 더 좋아하고, 나쁜 답을 덜 좋아하게 되면 그것이 곧 높은 점수입니다.

유도의 한 줄 요약. KL 페널티가 붙은 RLHF 목적식의 최적 정책 은 닫힌 꼴로 쓸 수 있습니다(DPO 논문 식 4).

이를 보상에 대해 풀면 $r(x,y)=\beta\log\frac{\pi^*(y|x)}{\pi_{ref}(y|x)}+\beta\log Z(x)$ 입니다. 계산이 어려운 분배 함수 $Z(x)$ 는 같은 프롬프트의 두 답을 빼면 사라집니다. 그래서 브래들리-테리 손실에 이 식을 넣으면 보상 모델 없이 정책만으로 쓴 손실이 나옵니다.

숫자로 해 보기(해설용). 답 전체의 로그 확률(토큰 로그 확률의 합)이 다음과 같다고 합시다.

• $\beta=0.1$: 암묵적 보상 $\hat r_w=0.1\times(−12+13)=0.1$, $\hat r_l=0.1\times(−15+14)=−0.1$ → 차이 $0.2$ → 손실 $-\log\sigma(0.2)=0.598$
• $\beta=0.5$: $\hat r_w=0.5$, $\hat r_l=-0.5$ → 차이 $1.0$ → 손실 $0.313$
• 학습 시작 시점에는 $\pi_\theta=\pi_{ref}$ 라 차이가 0이고 손실은 $\log2\approx0.693$ 입니다. 위 표는 몇 걸음 학습한 뒤의 모습입니다.

기울기가 말해 주는 것. DPO 논문은 기울기를 이렇게 정리합니다.

좋은 답의 확률은 올리고 나쁜 답의 확률은 내립니다. 그 세기는 $\sigma(\hat r_l-\hat r_w)$, 즉 암묵적 보상이 순서를 틀리게 매길수록 커집니다. 위 예에서 $\beta=0.1$ 이면 가중치 $\sigma(-0.2)=0.450$, $\beta=0.5$ 면 $\sigma(-1)=0.269$ 입니다. 논문은 이 가중치 없이 확률 비만 키우는 단순한 목적식은 모델이 망가졌다(degenerate)고 보고합니다.

논문 설정과 결과. 별도 언급이 없으면 $\beta=0.1$, 배치 64, RMSprop, 학습률 $10^{-6}$ 을 썼고, TL;DR 요약에서는 $\beta=0.5$ 를 썼습니다. TL;DR 요약에서 GPT-4가 판정한 승률이 온도 0에서 약 61%로, 가장 좋은 온도의 PPO(57%)보다 높았습니다.

2. DPO 이후: 쌍이 아니어도 된다 (KTO)

DPO는 "같은 질문에 대한 두 답 중 어느 쪽이 나은가"라는 쌍 데이터가 필요합니다. 그런데 실제 서비스에서 흔한 신호는 '좋아요/싫어요'처럼 답 하나에 대한 이진 평가입니다.

KTO(Kahneman-Tversky Optimization). Ethayarajh 외(2024)는 사람이 손실을 이득보다 크게 느끼는 '손실 회피' 같은 전망 이론(prospect theory)의 성질을 손실 함수에 넣었습니다. 답 하나가 바람직한지 아닌지만 알면 학습할 수 있고, 바람직한 답과 바람직하지 않은 답에 서로 다른 가중치($\lambda_D$, $\lambda_U$)를 둡니다. 논문은 1B~30B 규모에서 선호 쌍 기반 방법과 같거나 더 좋은 성능을 보고했고, "모든 상황에서 가장 좋은 하나의 손실은 없다" 고 결론지었습니다.

실무 감각. TRL 같은 라이브러리에는 DPO · KTO 등 여러 선호 최적화 트레이너가 있습니다. 데이터가 쌍인지, 이진 평가인지, 정답 검증이 가능한지에 따라 고릅니다.

3. AI 피드백: 헌법적 AI와 RLAIF

문제. 사람 라벨은 비싸고 느리며, 해로운 내용을 사람이 계속 읽고 판정해야 하는 부담도 있습니다.

헌법적 AI(Bai 외, 2022). 사람의 감독을 원칙(헌법) 목록 으로만 제공합니다. 논문은 열 개 안팎의 자연어 원칙을 썼다고 밝힙니다.

1. 지도 학습 단계: 모델이 답을 쓰고 → 원칙에 비추어 스스로 비평하고 → 고쳐 쓴 답으로 원래 모델을 미세조정합니다.
2. 강화학습 단계: 두 답을 뽑아 AI가 어느 쪽이 나은지 판정하고, 그 AI 선호로 선호 모델을 학습해 보상으로 씁니다. 이것을 AI 피드백 강화학습(RLAIF) 이라 부릅니다.

결과로 해로운 질문에 그냥 회피하지 않고 왜 도울 수 없는지 설명하는, 무해하지만 덜 회피적인 어시스턴트를 만들었다고 보고합니다. 유해성에 대한 사람 라벨은 쓰지 않았습니다.

RLAIF vs RLHF(Lee 외, 2023). 기성 LLM이 매긴 선호로 보상 모델을 학습해 비교했습니다. SFT 대비 사람 평가 승률이 요약에서 RLAIF 71% · RLHF 73%, 도움 대화에서 63% · 64%로 통계적으로 차이가 없었고, 무해 대화에서는 무해 비율이 RLAIF 88%, RLHF 76%, SFT 64%였습니다. 보상 모델 없이 LLM에게 직접 점수를 받는 direct-RLAIF도 제안했습니다.

주의할 점. AI 판정자는 자기 편향(긴 답 선호 등)을 그대로 옮길 수 있습니다. 판정자 자체의 품질을 사람 평가로 주기적으로 확인해야 합니다(LLM 평가의 LLM 심판 편향 참고).

4. 검증 가능한 보상과 GRPO

아이디어. 수학 답이 맞는지, 코드가 테스트를 통과하는지, 지시한 형식(예: "세 문장으로")을 지켰는지는 프로그램으로 확인 할 수 있습니다. 이런 문제에서는 학습된 보상 모델 대신 검증기를 보상으로 씁니다. Tülu 3 논문은 이를 검증 가능한 보상 강화학습(RLVR) 이라 부르며, 완성 답이 맞다고 검증될 때만 보상을 줍니다. 학습된 보상 모델의 허점을 파고드는 보상 해킹 여지가 줄어드는 것이 장점입니다.

GRPO(Shao 외, 2024). PPO는 정책만 한 가치 모델을 따로 학습해야 해 메모리 · 계산 부담이 큽니다. GRPO는 가치 모델을 없애고, 같은 질문에 대해 답 여러 개(그룹)를 뽑아 그룹 평균을 기준선 으로 씁니다.

또 KL 페널티를 보상에 섞지 않고 손실에 직접 더합니다. DeepSeekMath 실험에서는 질문마다 64개 답을 뽑았고 KL 계수는 0.04였습니다.

숫자로 해 보기(해설용, $G=4$, 맞으면 1 · 틀리면 0, 모집단 표준편차 사용).

• 보상 $(1,0,0,1)$: 평균 0.5, 표준편차 0.5 → 이점 $(1,-1,-1,1)$
• 보상 $(1,0,0,0)$: 평균 0.25, 표준편차 0.433 → 이점 $(1.732,-0.577,-0.577,-0.577)$ — 드물게 맞힌 답이 크게 강화됩니다.
• 보상 $(1,1,1,1)$: 표준편차 0 → 모두 같아 학습 신호가 없습니다. 너무 쉽거나 너무 어려운 문제는 배울 것이 없다는 뜻입니다.

표준편차를 표본 방식으로 계산하면 숫자가 조금 달라집니다(첫 예는 $\pm0.866$). 구현마다 다를 수 있으니 코드를 확인하세요.

123456flowchart LR
  Q[질문 하나] --> S[답 G개 샘플링]
  S --> V[검증기 · 보상 모델로 채점]
  V --> N[그룹 평균 빼고 표준편차로 나눔]
  N --> U[이점으로 정책 업데이트<br/>+ KL 페널티는 손실에 직접]
  U --> Q

이 흐름이 DeepSeek-R1에서 큰 규모로 쓰였습니다.

5. 세 갈래 비교

6. 레드팀: 정렬을 공격해서 확인하기

직관. 보안 팀이 일부러 자기 회사를 해킹해 보듯, 모델이 해로운 답을 내도록 일부러 유도해 보는 것 이 레드팀(red teaming)입니다. 정렬 학습의 효과를 확인하고, 실패 사례를 다음 학습 데이터로 돌려씁니다.

사람 레드팀(Ganguli 외, 2022). 2.7B · 13B · 52B 세 크기와 네 종류(일반 LM, HHH 프롬프트 LM, 거절 샘플링 LM, RLHF 모델)를 공격했습니다. RLHF 모델은 커질수록 공격하기 어려워졌고, 나머지는 크기에 따른 경향이 평평했습니다. 공격 대화 38,961건을 데이터셋으로 공개했습니다.

자동 레드팀(Perez 외, 2022). 다른 언어 모델이 공격 질문을 만들고, 분류기가 대상 모델의 답이 해로운지 판정합니다. 280B 챗봇에서 수만 건의 공격적 답을 찾아냈다고 보고합니다. 사람이 직접 쓰는 것보다 훨씬 많고 다양한 시험 사례를 만들 수 있습니다.

정렬 작업에서의 위치. 레드팀 → 실패 수집 → 선호 · 거절 데이터 보강 → 재학습 → 다시 레드팀의 반복 고리입니다. 안전 정책 · 위험 평가 전반은 안전 트랙에서 더 다룹니다.

연습 문제

1. 1절 표에서 학습 모델이 $y_w=-11$, $y_l=-16$ 이 되었다면 $\beta=0.1$ 의 손실은? ($\sigma(0.4)\approx0.599$)
   • 풀이: $\hat r_w=0.1\times2=0.2$, $\hat r_l=0.1\times(-2)=-0.2$ → 차이 0.4 → $-\ln0.599\approx0.513$ 입니다.
2. DPO에서 분배 함수 $Z(x)$ 가 손실에서 사라지는 이유는?
   • 풀이: 같은 프롬프트 $x$ 의 두 답 보상을 빼면 $\beta\log Z(x)$ 항이 서로 지워지기 때문입니다.
3. GRPO에서 보상 $(0,0,0,1)$ 의 이점은? (모집단 표준편차)
   • 풀이: 평균 0.25, 표준편차 0.433 → $(-0.577,-0.577,-0.577,1.732)$ 입니다.
4. 사용자 '좋아요/싫어요' 로그만 있다면 DPO와 KTO 중 무엇이 바로 쓰기 쉬운가요?
   • 풀이: KTO입니다. 같은 질문의 두 답 쌍이 없어도 답 하나의 바람직함 신호로 학습합니다.

스스로 점검

1. DPO의 '암묵적 보상'은 무엇인가요?
   • 답: $\beta\log(\pi_\theta/\pi_{ref})$, 즉 기준 모델보다 그 답을 얼마나 더 좋아하게 됐는가입니다. 따로 보상 모델을 두지 않고 정책 확률이 보상 역할을 합니다.
2. GRPO가 PPO보다 메모리를 덜 쓰는 이유는?
   • 답: 정책만 한 가치 모델을 학습하지 않고, 같은 질문의 답 그룹 평균 보상을 기준선으로 쓰기 때문입니다.
3. 검증 가능한 보상이 보상 해킹을 줄이는 이유와 한계는?
   • 답: 학습된 채점기의 허점 대신 정답 검증 프로그램을 쓰기 때문입니다. 다만 검증할 수 있는 문제(수학 · 코드 · 형식)에만 쓸 수 있고, 검증기 자체에 허점이 있으면 그것을 파고들 수 있습니다.

용어 정리

더 깊이 보려면

• 직접 선호 최적화 (DPO) — 원 논문 해설
• 헌법적 AI: AI 피드백으로 무해성 학습 — 비평 · 수정 단계의 예
• DeepSeekMath: GRPO로 수학 추론 끌어올리기 · DeepSeek-R1
• KTO 원문 arxiv.org/abs/2402.01306 · Tülu 3 원문 arxiv.org/abs/2411.15124

다음에 볼 것

• 직접 해 보기: 보상 모델과 DPO 손실을 넘파이로 계산하기 — 오늘 식을 코드로 돌려 보기
• DeepSeekMath: GRPO로 수학 추론 끌어올리기 — GRPO 원 논문
• 프라이버시와 보안: 멤버십 추론 · 차등 프라이버시 · DP-SGD · 적대적 예제 · 프롬프트 인젝션 — 레드팀이 찾는 공격(프롬프트 인젝션 · 적대적 예제)을 보안 관점에서 봅니다

라이선스

본문은 KAITABASE 자체 해설입니다. 참고 자료 TRL 문서는 Apache 2.0입니다. 숫자 예는 이 수업을 위해 만든 해설용 예이며 파이썬으로 검산했습니다. 논문 수치는 각 원문에서 확인한 것만 옮겼습니다.

출처

• Rafailov 외, Direct Preference Optimization (2023): arxiv.org/abs/2305.18290
• Ethayarajh 외, KTO: Model Alignment as Prospect Theoretic Optimization (2024): arxiv.org/abs/2402.01306
• Bai 외, Constitutional AI: Harmlessness from AI Feedback (2022): arxiv.org/abs/2212.08073
• Lee 외, RLAIF vs. RLHF (2023): arxiv.org/abs/2309.00267
• Shao 외, DeepSeekMath (2024): arxiv.org/abs/2402.03300
• Lambert 외, Tülu 3 (2024): arxiv.org/abs/2411.15124
• Ganguli 외, Red Teaming Language Models to Reduce Harms (2022): arxiv.org/abs/2209.07858
• Perez 외, Red Teaming Language Models with Language Models (2022): arxiv.org/abs/2202.03286
• Hugging Face TRL 문서: huggingface.co/docs/trl/index