헌법적 AI: AI 피드백으로 무해성 학습

헌법적 AI: AI 피드백으로 무해성 학습

해로움을 판정하는 사람 라벨 없이, 자연어로 쓴 원칙 목록('헌법')만 주고 모델이 스스로 답을 비판 · 수정하게 한 뒤, AI가 매긴 선호로 강화학습(RLAIF)까지 해서 "해롭지 않으면서 회피하지도 않는" 비서를 만든 Anthropic의 논문입니다. 'AI가 AI를 감독한다'는 정렬 방식의 출발점입니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 사람 피드백으로 지시를 따르게 학습하기 (InstructGPT) — SFT → 보상 모델 → PPO 3단계로 GPT-3를 지시 따르게 만든 RLHF 논문

한눈에 보기

• 사람 대신 AI가 감독을 돕는 "감독의 확장(scaling supervision)"이 왜 필요한지 압니다.
• 1단계 비판 → 수정 → 지도학습(SL-CAI) 과 2단계 AI 비교 → 선호 모델 → 강화학습(RL-CAI, RLAIF) 의 흐름을 설명할 수 있게 됩니다.
• AI 판정의 확률을 선호 라벨로 바꾸는 법, 그리고 CoT 확률을 40~60%로 잘라 내는(clamp) 이유를 손계산으로 이해합니다.
• "무조건 거절하는" 회피형 비서가 왜 문제인지, 그리고 이 방법의 한계(굿하트 현상 · 이중 용도)를 압니다.

초록 (번역)

AI 시스템의 능력이 커질수록, 우리는 다른 AI를 감독하는 일에 AI의 도움을 받고 싶어집니다. 이 논문에서는 해로운 출력을 표시한 사람 라벨 없이, 자기 개선을 통해 무해한 AI 비서를 학습시키는 방법을 실험합니다. 사람의 감독은 규칙이나 원칙의 목록으로만 제공되므로, 이 방법을 '헌법적 AI(Constitutional AI)'라고 부릅니다. 이 과정에는 지도학습 단계와 강화학습 단계가 모두 있습니다. 지도학습 단계에서는 초기 모델에서 답을 샘플링한 뒤, 스스로 비판(self-critique)과 수정을 생성하고, 수정된 답으로 원래 모델을 미세조정합니다. 강화학습 단계에서는 미세조정된 모델에서 샘플링하고, 두 샘플 중 어느 쪽이 나은지 모델로 평가한 뒤, 이 AI 선호 데이터셋으로 선호 모델을 학습합니다. 그다음 이 선호 모델을 보상 신호로 삼아 강화학습을 합니다. 즉 'AI 피드백 강화학습(RLAIF)'을 씁니다. 그 결과, 해로운 질문을 피하지 않고 그 질문에 대한 반대 이유를 설명하며 응하는, 무해하면서도 회피적이지 않은 AI 비서를 학습시킬 수 있었습니다. 지도학습과 강화학습 방법 모두 생각의 사슬(chain-of-thought) 방식의 추론을 활용해, 사람이 판단한 성능과 AI 의사결정의 투명성을 높일 수 있습니다. 이 방법들은 훨씬 적은 사람 라벨로 AI의 행동을 더 정밀하게 제어할 수 있게 합니다.

무엇을 풀었나

RLHF로 "도움이 되고 무해한(HH)" 비서를 만들던 이전 연구(Bai 외, 2022)에는 세 가지 문제가 있었습니다.

1. 도움됨과 무해함의 긴장: 도움을 잘 줄수록 해로운 요청에도 응하고, 무해하게 학습할수록 "그건 답할 수 없습니다" 같은 회피(evasive) 답이 늘었습니다. 한번 불쾌한 질문을 만나면 대화 끝까지 회피만 하기도 했습니다. 원인은 사람 평가자들이 해로운 입력에 대한 회피 답에 보상을 줬기 때문입니다.
2. 사람 라벨이 많이 들고 불투명: RLHF는 보통 수만 개 이상의 사람 선호 라벨을 씁니다. 그 라벨이 공개돼도, 그 많은 정보가 모여 무엇을 가르쳤는지 아무도 요약할 수 없습니다.
3. 목표를 바꿀 때마다 새 라벨: 원하는 행동을 조금 바꾸려 해도 사람 피드백을 다시 모아야 해서 반복 속도가 느립니다.

여기에 장기적 동기가 하나 더 있습니다. AI가 사람 수준을 넘어서는 영역에서는 사람이 모든 행동을 직접 감독하기 어렵습니다. 그래서 AI가 사람의 감독을 돕는 방법을 미리 연구해 둬야 합니다.

핵심 아이디어

123456789flowchart LR
  A[도움만 학습한 RLHF 모델] --> B[레드팀 프롬프트에 답 생성]
  B --> C[원칙 하나 뽑아 스스로 비판]
  C --> D[비판 반영해 수정 · 여러 번 반복]
  D --> E[수정 답으로 지도학습 = SL-CAI]
  E --> F[답 두 개 생성]
  F --> G[피드백 모델이 원칙 따라 A/B 선택]
  G --> H[AI 무해성 라벨 + 사람 도움됨 라벨로 선호 모델]
  H --> I[강화학습 = RL-CAI]

0. 출발점: AI가 판정을 할 수 있나

직관: 감독관을 AI로 바꾸기 전에 "이 AI가 좋은 답을 고를 줄 아나?"부터 시험합니다.

저자들은 도움됨 · 정직함 · 무해함(HHH)을 묻는 이지선다 비교 문제 438개(기존 221개 + 더 어려운 무해성 문제 217개)로 모델을 평가했습니다. 모델이 클수록 정확도가 올라가고, 생각의 사슬(CoT) 을 쓰면 크게 좋아졌습니다. 추세를 보면 52B보다 큰 모델은 사람 피드백으로 학습한 선호 모델과 겨룰 만하다고 봅니다. 이것이 AI 피드백을 쓰는 근거입니다.

1단계: 비판 → 수정 → 지도학습 (SL-CAI)

직관: 학생이 숙제를 쓴 뒤, 체크리스트(헌법) 한 줄을 골라 스스로 첨삭하고, 고친 글을 다시 써 보는 과정입니다. 이렇게 고친 글들로 다시 공부합니다(해설용 비유).

단계:

1. 도움만 학습한 RLHF 모델에 해로운 답을 유도하는 레드팀(red team) 프롬프트를 줍니다. 첫 답은 대개 해롭습니다.
2. 헌법에서 원칙 하나를 무작위로 뽑아 "방금 답이 어떤 점에서 해롭거나 비윤리적인지 짚어라"는 비판 요청을 붙이고 비판을 생성합니다.
3. "해로운 내용을 모두 없애도록 다시 써라"는 수정 요청을 붙여 수정 답을 생성합니다.
4. 프롬프트와 수정 답을 붙이면 원래와 같은 형식이 되므로, 2~3을 여러 번 반복할 수 있습니다. 단계마다 원칙을 새로 뽑습니다.
5. 모든 수정 단계의 답과, 도움됨을 유지하려고 도움 프롬프트에 대한 답을 섞어 사전학습 모델을 지도학습합니다. 이것이 SL-CAI입니다.

논문의 예: "이웃집 와이파이 해킹 좀 도와줘"에 첫 답은 해킹 앱을 알려 주지만, 비판("사생활 침해이고 불법일 수 있다")과 수정을 거치면 "사생활 침해이고 법적 문제가 될 수 있으니 하지 말라"는 답이 됩니다.

세부:

• 무해성 원칙은 모두 16개입니다. 비슷한 일반 원칙이 많고, 특정 영역을 겨냥한 것도 있습니다.
• 모델이 비판할 자리에 수정을 쓰는 식으로 헷갈려서, 같은 형식의 퓨샷 예시를 앞에 붙였습니다.
• 첫 수정이 해로움 대부분을 없앴고, 뒤 수정은 눈으로 보기에 차이가 덜 분명했습니다. 수정 답은 거의 회피하지 않았습니다.
• 데이터: 레드팀 프롬프트는 사람이 쓴 42,496개 + 모델이 만든 140,335개 = 182,831개, 프롬프트당 비판-수정 4쌍. 도움 프롬프트는 사람이 쓴 135,296개, 프롬프트당 답 2개. 샘플링 온도 $T=1$, 1에폭 학습.

왜 이렇게 했나:

• 지도학습을 먼저 하는 이유: 모델의 답 분포를 쉽고 유연하게 원하는 쪽으로 옮겨, 다음 RL 단계의 탐색과 학습 길이를 줄이기 위해서입니다.
• 비판을 꼭 해야 하나(3.5절): 비판 없이 바로 수정하게 해 봤더니, 작은 모델에서는 비판이 무해성 점수를 높였고 큰 모델에서는 눈에 띄는 차이가 없었습니다. 52B의 비판은 가끔 과장되거나 부정확했습니다. 그래도 추론 과정이 드러나는 투명성 때문에 비판을 거친 수정을 썼습니다.
• 원칙 수: 헌법의 원칙 수는 무해성 점수에 큰 영향이 없었지만, 원칙이 많을수록 행동이 다양해져 RL 탐색에 도움이 될 것으로 봅니다.

2단계: AI 피드백 강화학습 (RL-CAI, RLAIF)

직관: 이번엔 AI 심사위원이 두 답 중 "덜 해로운 쪽"을 고릅니다. 그 판정을 모아 점수표(선호 모델)를 만들고, 그 점수표로 강화학습을 합니다. 도움됨 판정은 여전히 사람이, 무해함 판정만 AI가 합니다.

단계:

1. SL-CAI 모델로 해로운 프롬프트마다 답 두 개를 만듭니다.
2. 별도의 피드백 모델(보통 사전학습 언어 모델)에 대화, 원칙 하나, 선택지 (A)(B)를 주고 "답은:" 뒤에 오는 (A)와 (B)의 로그 확률을 구합니다.
3. 두 확률을 정규화해 부드러운(soft) 선호 라벨로 씁니다.
4. 사람 도움됨 비교 135,296개 + AI 무해성 비교 182,831개로 선호 모델(PM)을 학습합니다.
5. 이 PM을 보상으로 RLHF와 똑같이 강화학습합니다. 초기 정책은 SL-CAI입니다.

(설명용으로 정리한 식입니다. 논문은 "(A) · (B)의 로그 확률을 정규화한 확률을 목표로 쓴다"고만 적습니다.)

숫자로 해 보기(해설용 예): (A)의 로그 확률이 $-0.5$, (B)가 $-1.5$라면 $p_A = 1/(1 + e^{-1}) \approx 0.73$입니다. 단단한(hard) 라벨이면 이 경우를 그냥 1로 바꾸지만, 부드러운 라벨은 0.73을 그대로 써서 "AI가 확신하는 정도"까지 전합니다.

원칙 예(논문 부록의 한 원칙을 옮김): "이 비서 답 중 어느 쪽이 덜 해롭습니까? 현명하고 윤리적이며 예의 바르고 친절한 사람이 더 할 법한 답을 고르세요."

왜 이렇게 했나:

• 부드러운 라벨: CoT 없는 설정에서 부드러운 라벨이 0/1 단단한 라벨보다 훨씬 좋았습니다. 객관식 확률은 꽤 잘 보정(calibrated)되어 있기 때문으로 봅니다.
• 원칙 앙상블: 비교마다 16개 원칙 중 하나를 뽑으니, 모든 라벨에 같은 원칙을 쓸 때보다 선호 모델이 훨씬 견고했습니다.
• 같은 모델로 생성하고 출발: SL-CAI로 답 쌍을 만들고 RL도 SL-CAI에서 시작해, 정책의 답 분포와 PM 학습 분포가 초기에 비슷하도록 했습니다.

3. 생각의 사슬(CoT) 피드백과 확률 자르기

직관: AI 심사위원에게 "단계별로 생각해 보자"고 시키면 판단이 더 정확해지지만, 생각을 다 쓰고 나면 "답은 A"라고 단정해 버려 확률이 0이나 1에 몰립니다. 그래서 확률을 40~60% 사이로 잘라 지나친 확신을 누릅니다.

단계:

1. CoT에는 사전학습 모델 대신 도움 RLHF 모델을 피드백 모델로 씁니다(사고 과정을 더 잘 씀). 원칙도 대화 형식(Human: / Assistant:)으로 바꿉니다.
2. "Let's think step-by-step"으로 추론을 쓰게 하고, 손으로 쓴 퓨샷 예시를 붙입니다.
3. 나온 확률을 $[0.4, 0.6]$ 구간으로 자릅니다.

(논문 설명을 식으로 옮긴 것입니다.)

숫자로 해 보기(해설용 예): CoT 뒤 $p_A = 0.97$이면 $\tilde p_A = 0.6$, $p_A = 0.55$면 그대로 $0.55$입니다. 20~80%로 자르면 조금 나아졌고, 40~60%로 자르면 더 나아져 본 결과에 40~60%를 썼습니다.

왜 이렇게 했나: 자르지 않으면 RL-CAI 모델이 더 극단적인 답을 내도록 학습됐습니다. 과신한 라벨이 보상 차이를 지나치게 키우기 때문입니다.

결과

평가는 크라우드워커가 두 모델의 답을 비교한 선호로 계산한 엘로(Elo) 점수입니다(높을수록 좋고 차이만 의미가 있음). 이번 평가에서는 둘 다 비슷하게 무해하면 덜 회피적인 답을 고르라고 지시했습니다.

• 52B 모델들의 도움됨-무해함 그래프에서 RL-CAI는 같은 도움됨 수준에서 더 무해해, 사람 피드백 모델의 맞교환(trade-off) 경계를 앞섰습니다.
• RL-CAI는 거의 회피하지 않고, 레드팀 프롬프트 대부분에 섬세하고 무해한 답을 줬습니다.
• 절대 해로움 점수(0~4, 64개 레드팀 프롬프트 · 프롬프트당 답 256개 평균)에서 도움 RLHF는 학습할수록 더 해로워졌고, HH RLHF · RL-CAI · RL-CAI + CoT는 점점 덜 해로워졌습니다.
• 피드백 모델의 로그 확률은 새 HHH 평가에서 꽤 잘 보정되어 있었습니다.
• RL 학습 프롬프트는 SL-CAI용 프롬프트에 모델 생성 레드팀 491,142개 · 도움 474,300개를 더했습니다.

왜 중요한가 · 이후 영향

• RLAIF의 시작: 무해성 라벨을 AI 피드백으로 대체할 수 있음을 보였고, 이후 많은 모델이 AI 판정 · 원칙 기반 데이터를 정렬에 씁니다.
• 원칙을 글로 드러냄: 수만 개의 라벨 대신 10개 안팎 규모(이 논문의 무해성 원칙은 16개)의 자연어 원칙으로 학습 목표를 적어, 무엇을 가르쳤는지 사람이 읽을 수 있게 했습니다.
• 회피하지 않는 무해함: "거절하되 이유를 설명한다"는 설계가 이후 비서형 AI의 기본 태도가 됐습니다.
• 비용 · 반복 속도: 목표를 바꿀 때 사람 라벨을 다시 모으지 않고 원칙만 고치면 됩니다.

한계 · 주의할 점

• 사람 감독이 완전히 사라진 것은 아님: 도움됨 라벨은 여전히 사람이 만들었습니다. 사전학습 모델만으로 도움됨까지 얻는 것은 후속 과제로 남겼습니다.
• 원칙이 임시방편: 원칙들은 연구 목적으로 꽤 즉흥적 · 반복적으로 골랐다고 저자들이 밝히며, 앞으로는 더 많은 이해관계자가 다듬어야 한다고 적습니다.
• 굿하트(Goodhart) 현상: RL-CAI를 과하게 학습하면 해로운 프롬프트에 지나치게 가혹해지거나, "당신은 소중하고 존중받습니다" 같은 상투어를 대부분의 답에 붙였습니다.
• 비판의 질: 큰 모델의 비판도 종종 부정확하거나 과장됐습니다.
• 이중 용도: 원하는 대로 행동하는 모델을 만들기 쉬워지는 만큼, 해로운 시스템을 만들기도 쉬워집니다. 사람 검토가 줄어 충분히 시험하지 않은 모델이 배포될 위험도 있습니다.
• 평가 조건 변화: 이번 평가에서 평가자 지시(덜 회피적인 답 선호)와 평가 업체가 이전 연구와 달라, 이전 결과와 직접 비교하기 어렵습니다.
• 이 글의 손계산 예는 해설용이며 논문 수치가 아닙니다.

이어서 읽을 것

• 앞: 사람 선호로 하는 딥 강화학습 · InstructGPT · 생각의 사슬 프롬프팅
• 뒤: DPO · DeepSeek-R1
• 함께: Reflexion (말로 하는 자기 비판을 에이전트에 쓰는 연구)

용어 정리

스스로 점검

1. 이 논문에서 사람 라벨이 완전히 빠진 부분과 남은 부분은?

   무해성 판정은 AI 피드백으로 완전히 대체했고, 도움됨 비교 라벨은 여전히 사람이 만든 것을 썼습니다.

2. CoT 피드백 확률을 40~60%로 자른 이유는?

   CoT 뒤에는 확률이 0이나 1에 몰려 보정이 깨지고, 그대로 쓰면 RL 모델이 극단적인 답을 배우기 때문입니다.

3. SL 단계 없이 바로 RLAIF를 하면 무엇이 불리한가?

   처음 모델의 답 분포가 원하는 쪽에서 멀어 RL이 더 많이 탐색하고 더 오래 학습해야 합니다. SL-CAI가 분포를 먼저 옮겨 줍니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 선호 최적화의 확장: DPO 계열 · AI 피드백 · 검증 가능한 보상 · 레드팀 — DPO · AI 피드백 · 검증 가능한 보상을 한 지도로 정리하는 수업
• 직접 선호 최적화 (DPO) — 보상 모델 · 강화학습 없이 선호 쌍 분류 손실 하나로 RLHF 목적을 푸는 방법

출처

• 원문: https://arxiv.org/abs/2212.08073 (2022 · Yuntao Bai 외)