DeepSeek-R1: 강화학습으로 추론 능력 끌어내기

DeepSeek-R1: 강화학습으로 추론 능력 끌어내기

사람이 쓴 풀이 과정(추론 시연) 없이, "최종 답이 맞았나"만 보상으로 주는 순수 강화학습으로 대형 언어 모델에 긴 추론 · 자기 검증 · 되돌아보기 같은 행동이 스스로 생겨나게 한 논문입니다. 그 결과 모델 DeepSeek-R1과 작은 증류 모델들도 함께 공개했습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• DeepSeekMath: GRPO로 수학 추론 끌어올리기 — 웹 수학 데이터 120B 토큰과 크리틱 없는 GRPO로 7B 모델이 MATH 51.7%
• 생각의 사슬 프롬프팅 (Chain-of-Thought) — 예시에 풀이 과정을 넣기만 해도 큰 언어 모델의 추론 성능이 크게 오른다는 논문

한눈에 보기

• R1-Zero: SFT 없이 기반 모델에 바로 GRPO 강화학습을 하면, 규칙 기반 보상(정답 · 형식)만으로도 추론 능력이 크게 오른다는 것을 압니다.
• 학습 중 응답이 길어지고 "잠깐(wait)" 같은 되돌아보기가 갑자기 늘어나는 "아하 순간" 이 무엇인지 압니다.
• R1: 가독성 · 언어 섞임 문제를 고치려고 콜드 스타트 SFT → RL → 기각 샘플링 SFT → RL로 이어지는 다단계 파이프라인을 설명할 수 있습니다.
• 큰 모델의 추론을 작은 모델로 옮기는 증류가 작은 모델에 직접 RL하는 것보다 나았다는 결과와, 순수 RL의 한계(보상 해킹 · 도구 사용 불가)를 압니다.

초록 (번역)

일반적인 추론은 인공지능에서 오래되고도 만만치 않은 과제입니다. 대형 언어 모델(LLM)과 생각의 사슬(chain-of-thought) 프롬프팅으로 대표되는 최근의 돌파구는 기초적인 추론 과제에서 상당한 성공을 거뒀습니다. 그러나 이 성공은 사람이 주석한 대량의 시연에 크게 의존하며, 더 복잡한 문제에 대해서는 모델의 능력이 여전히 부족합니다. 이 논문에서는 사람이 라벨링한 추론 궤적 없이도, 순수 강화학습(RL)만으로 LLM의 추론 능력을 끌어낼(incentivize) 수 있음을 보입니다. 제안한 RL 틀은 자기 성찰, 검증, 상황에 맞는 전략 전환 같은 고급 추론 패턴이 저절로 생겨나도록 돕습니다. 그 결과 학습된 모델은 수학, 코딩 대회, STEM 분야처럼 검증 가능한 과제에서 뛰어난 성능을 보이며, 사람 시연에 대한 기존 지도학습으로 학습한 모델들을 능가합니다. 또한 이런 대형 모델이 보이는 창발적 추론 패턴은 체계적으로 활용되어 더 작은 모델의 추론 능력을 이끌고 높이는 데 쓰일 수 있습니다.

무엇을 풀었나

추론 능력을 높이는 기존 방법은 두 갈래였습니다.

1. 모델 키우기: 규모가 커지면 추론 능력이 나타나지만 사전학습에 막대한 계산이 듭니다.
2. 생각의 사슬 시연으로 학습: 사람이 쓴 고품질 다단계 풀이로 미세조정하면 성능이 오르지만, 사람 주석이 많이 들고 확장이 어렵습니다.

논문은 두 번째 방식의 더 근본적인 문제를 지적합니다. 사람이 보여 준 풀이를 따라 하게 하면 사람의 사고방식에 갇혀, 사람과 다른 더 나은 추론 경로를 탐색하지 못합니다. 그래서 "사람이 정한 추론 패턴 없이, 정답 여부만 보상으로 주면 모델이 스스로 추론법을 찾아낼까?"를 묻습니다.

핵심 아이디어

12345678flowchart LR
  B[DeepSeek-V3-Base] --> Z[R1-Zero: SFT 없이 GRPO + 규칙 보상]
  B --> C[콜드 스타트 SFT: 수천 개 대화형 추론 데이터]
  C --> R1[1차 RL: 추론 + 언어 일관성 보상 = Dev2]
  R1 --> S[기각 샘플링 + SFT: 추론 + 비추론 데이터 = Dev3]
  S --> R2[2차 RL: 규칙 보상 + 도움 · 안전 보상 모델]
  R2 --> F[DeepSeek-R1]
  F --> D[80만 샘플로 작은 모델 증류]

1. R1-Zero: SFT 없이 바로 강화학습

직관: 수학 문제집을 주되 풀이 해설은 안 보여 주고, 답이 맞으면 점수만 줍니다. 학생은 수없이 풀어 보며 "검산하면 점수가 잘 나오는구나"를 스스로 깨닫습니다(해설용 비유).

단계:

1. 기반 모델 DeepSeek-V3-Base에서 출발합니다. SFT 단계는 일부러 건너뜁니다.
2. 아주 단순한 템플릿을 씁니다. "먼저 머릿속으로 추론 과정을 생각하고 답을 준다. 추론은 <think>…</think>, 답은 <answer>…</answer> 안에 쓴다." 내용에 대한 제약은 일부러 넣지 않습니다.
3. 질문마다 답 16개를 샘플링하고, 규칙 기반 보상으로 채점한 뒤 GRPO로 정책을 업데이트합니다.

왜 SFT를 건너뛰었나: 사람이 정한 추론 패턴이 모델의 탐색을 제한할 수 있다는 가설 때문입니다. 형식만 정하고 내용은 비워 둬야 RL 과정에서 모델이 자연스럽게 어떻게 변하는지 관찰할 수 있습니다.

2. 규칙 기반 보상: 정답 보상 + 형식 보상

직관: 채점 기준은 둘뿐입니다. ① 답이 맞았나 ② 생각을 정해진 칸(<think>) 안에 썼나.

• 정답 보상(accuracy): 수학은 정해진 형식(예: 상자 안)에 최종 답을 쓰게 해 규칙으로 정답을 확인합니다. 코딩은 컴파일러로 미리 정한 테스트 케이스를 돌려 확인합니다.
• 형식 보상(format): 추론 과정을 <think>와 </think> 태그 안에 넣으면 보상합니다.
• 두 보상은 같은 가중치로 더합니다.

왜 신경망 보상 모델을 안 썼나: 결과 기반이든 과정 기반이든 신경망 보상 모델은 대규모 RL에서 보상 해킹에 취약했고, 보상 모델을 다시 학습하려면 계산이 많이 들고 파이프라인이 복잡해진다고 논문은 설명합니다.

숫자로 해 보기(해설용 예, 보상 크기는 가정): 정답 1점, 형식 1점이라 하고 한 질문에 답 4개가 (정답 · 형식 지킴)=2, (오답 · 형식 지킴)=1, (정답 · 형식 어김)=1, (오답 · 형식 어김)=0을 받았다고 합시다. 평균 1, 표준편차 $\sqrt{0.5} \approx 0.71$이므로 어드밴티지는 $(+1.41, 0, 0, -1.41)$입니다. 맞히고 형식도 지킨 답만 강화되고, 둘 다 어긴 답은 억제됩니다.

3. GRPO: 그룹 평균을 기준선으로

R1-Zero와 R1 모두 DeepSeekMath에서 제안한 GRPO를 씁니다. 가치 모델 없이, 같은 질문에 대한 답 $G$개의 보상을 표준화해 어드밴티지로 씁니다.

(이 논문의 식은 답 전체 확률 $\pi(o_i \mid q)$로 적혀 있어, 토큰 단위로 적은 DeepSeekMath의 식과 표기가 다릅니다.)

R1-Zero 학습 설정(논문 기준): 학습률 3e-6, KL 계수 0.001, 샘플링 온도 1, 질문당 16개 샘플, 최대 길이는 8.2k 단계 전 32,768 토큰 · 이후 65,536 토큰. 총 10,400단계(1.6에폭), 단계마다 고유 질문 32개(배치 512), 400단계마다 기준 모델을 최신 정책으로 교체.

왜 클리핑 값이 중요했나: 논문은 클리핑 비율이 너무 낮으면 많은 토큰의 기울기가 잘려 성능이 떨어지고, 너무 높으면 학습이 불안정해진다고 적습니다.

4. 저절로 생긴 행동: 긴 생각과 "아하 순간"

직관: 시키지 않았는데, 점수를 더 받으려다 보니 학생이 스스로 "생각을 길게 하고, 중간에 검산하고, 다른 풀이도 시도"하게 됩니다.

• 학습이 진행될수록 응답 길이(생각하는 시간)가 꾸준히 늘었습니다. 외부에서 바꾼 것이 아니라 모델 스스로의 적응입니다. 수백~수천 토큰을 쓰며 풀이를 다듬습니다.
• 되돌아보는 추론(reflection)과 다른 풀이의 체계적 탐색이 늘었습니다.
• 학습 중간 버전에서 "잠깐, 잠깐. 잠깐. 여기서 짚어 둘 아하 순간이네요"처럼 사람 같은 말투로 다시 생각하는 장면이 나타났고, 되돌아볼 때 "wait"라는 단어 사용이 갑자기 늘었습니다.
• 최대 길이를 늘린 8.2k 단계에서 성능과 응답 길이가 함께 크게 뛰었습니다.

왜 중요한가: 어떻게 풀라고 가르치지 않고 올바른 유인(보상)만 줬더니 고급 문제 해결 전략이 스스로 나타났다는 점을 저자들은 "RL의 힘과 아름다움"이라고 부릅니다.

5. DeepSeek-R1: 다단계 파이프라인

문제: R1-Zero는 추론은 강하지만 읽기 어렵고, 한 답 안에서 영어와 중국어가 섞였습니다. 규칙 보상은 추론 과제에만 맞춰져 글쓰기 · 열린 질의응답은 약했습니다.

단계:

1. 콜드 스타트 SFT: 대화체로 사람의 사고 흐름에 맞춘 추론 데이터 수천 개로 기반 모델을 먼저 미세조정합니다(Dev1).
2. 1차 RL: R1-Zero와 같은 규칙 보상에 언어 일관성 보상을 더합니다(Dev2).
3. 기각 샘플링 + SFT: 추론 데이터와 비추론(글쓰기 등) 데이터를 함께 SFT합니다(Dev3).
4. 2차 RL: 추론 데이터는 규칙 보상, 일반 데이터는 도움 · 안전 보상 모델로 학습해 도움됨과 무해함을 높입니다.

• $\mathrm{Reward}_{\text{reasoning}}$: 규칙 보상(정답 등)
• $\mathrm{Reward}_{\text{general}}$: 보상 모델 점수 + 형식 보상
• $\mathrm{Reward}_{\text{language}}$: 생각의 사슬 안에서 목표 언어 단어가 차지하는 비율

숫자로 해 보기(해설용 예): 한국어로 물었는데 생각 100단어 중 90단어가 목표 언어라면 언어 보상은 $0.9$입니다. 영어가 절반 섞이면 $0.5$로 줄어듭니다.

보상 모델 세부(논문 기준):

• 도움 보상 모델: DeepSeek-V3에 응답 쌍을 네 번 판정하게 하며(위치 편향을 줄이려고 A · B 순서를 무작위로 바꿈) 평균 점수 차가 1보다 큰 쌍만 남겨 66,000쌍을 만들었습니다. 길이 편향을 줄이려고 선택 · 거절 답의 길이를 비슷하게 맞췄습니다. 도움됨은 최종 요약만 평가합니다.
• 안전 보상 모델: "안전/불안전"으로 주석한 10만 6천 개 프롬프트-응답으로 점별(point-wise) 학습합니다. 안전은 추론 과정까지 포함한 응답 전체를 평가합니다.

왜 이렇게 했나:

• 콜드 스타트: 처음부터 읽기 쉬운 사고 형식을 보여 줘 가독성 문제를 줄입니다. 다만 데이터가 적어 Dev1은 R1-Zero보다 AIME 성능이 일부 떨어졌습니다.
• 언어 일관성 보상: 성능은 약간 떨어뜨리지만(부록 B.6 절제 실험) 사람 선호에 맞고 읽기 쉬워집니다.
• 2차 RL을 짧게: 2차 RL은 총 1,700단계이고, 일반 지시 데이터와 선호 보상은 마지막 400단계에만 넣었습니다. 모델 기반 선호 보상으로 더 오래 학습하면 보상 해킹이 생겼기 때문입니다. 온도는 0.7로 낮췄습니다(높으면 생성이 엉켰음).

6. 증류: 큰 모델의 추론을 작은 모델로

직관: 우등생(R1)이 푼 풀이 80만 개로 후배들(작은 모델)을 가르칩니다.

DeepSeek-R1으로 만든 80만 개 샘플로 Qwen2.5(1.5B · 7B · 14B · 32B)와 Llama(8B · 70B) 기반 모델을 SFT만 해서(RL 없이) 증류 모델을 만들었습니다.

왜 이렇게 했나: 같은 32B 모델에 직접 대규모 RL을 한 경우보다 R1에서 증류한 경우가 더 나았습니다. 작은 모델에서는 증류가 RL 단독보다 효율적이라는 결론입니다. 저자들은 증류 모델에 RL을 더하면 더 좋아질 수 있지만, 증류 자체의 효과를 보이려고 RL은 넣지 않았다고 밝힙니다.

결과

R1-Zero의 학습 곡선: AIME 2024 평균 pass@1이 15.6%에서 77.9%로 올랐고, 자기 일관성 디코딩으로 86.7%를 기록해 사람 참가자 평균을 크게 넘었습니다.

단계별 성능(논문 표 3에서 일부 발췌):

• 추론 중심 RL(Dev2)은 수학 · 코드 · STEM을 크게 올렸지만 AlpacaEval 같은 사용자 선호 지표는 조금만 올렸습니다.
• 마지막 2차 RL의 주된 효과는 지시 따르기 · 사용자 선호 쪽으로, 논문은 AlpacaEval 2.0이 25%, ArenaHard가 17% 개선됐다고 적습니다.

증류 모델(논문 표 15에서 일부 발췌):

• 1.5B 증류 모델이 수학 벤치마크에서 비추론 기준 모델들을 넘었습니다.
• 같은 Qwen2.5-32B에 직접 RL한 모델(Qwen2.5-32B-Zero)은 AIME pass@1 47.0, 증류 모델은 72.6이었습니다.

학습 비용(부록 기준): R1-Zero 학습에 H800 GPU 64×8개로 약 198시간, R1 학습에 같은 GPU로 약 80시간, SFT 데이터 생성에 5K GPU 시간을 썼습니다.

안전: 위험 통제 시스템 없이 모델 자체의 안전 수준은 다른 최신 모델과 비교해 대체로 중간 수준(GPT-4o 2024-05-13과 비슷)이고, 위험 통제 시스템과 함께 쓰면 더 높아진다고 보고합니다.

왜 중요한가 · 이후 영향

• "시연 없이 보상만으로"의 실증: 어려운 추론 문제, 믿을 수 있는 검증기, 충분한 RL 계산만 있으면 사전학습 모델 안의 추론 잠재력을 끌어낼 수 있다는 것을 대규모로 보였습니다. 대규모 사람 주석이 핵심이 아니라는 주장입니다.
• 검증 가능한 보상(verifiable reward)의 부상: 정답 확인 · 테스트 실행 같은 규칙 보상이 보상 해킹에 강하다는 실무 교훈을 남겼습니다.
• 공개 모델 · 증류 모델: R1 시리즈와 증류 모델을 공개해 긴 생각의 사슬 추론 모델을 연구할 자원을 제공했습니다.
• 실패 경험 공유: 과정 보상 모델(PRM)과 몬테카를로 트리 탐색(MCTS)을 시도했지만 대규모 RL에서는 이득이 제한적이었다고 밝혀, 이후 연구 방향 선택에 참고가 됩니다.

한계 · 주의할 점

• 기반 모델 크기에 달림: 7B 밀집 모델과 16B MoE 모델로는 순수 RL이 AIME에서 의미 있는 향상을 내지 못했고(긴 응답에서 반복), 32B 밀집 · 230B MoE · 671B MoE 같은 큰 모델에서야 효과가 보였습니다.
• 보상 해킹: 글쓰기처럼 규칙으로 채점하기 어려운 과제에서는 모델 기반 보상이 학습이 길어질수록 해킹당하기 쉽습니다. 그래서 이런 과제는 사람 주석 SFT와 수백 단계의 짧은 RL만 했습니다.
• 기능 한계: 구조화된 출력이 아직 부족하고, 검색 엔진 · 계산기 같은 도구를 쓰지 못합니다. 쉬운 질문에도 과하게 생각하는(overthinking) 경우가 있습니다.
• 언어 섞임: 중국어 · 영어에 최적화돼, 다른 언어(한국어 포함)로 물어도 영어로 추론하거나 답할 수 있습니다.
• 프롬프트 민감성: 퓨샷 프롬프트를 주면 성능이 일관되게 떨어져, 제로샷으로 문제와 출력 형식을 직접 적으라고 권합니다.
• 소프트웨어 공학 과제: 평가 시간이 길어 대규모 RL을 충분히 하지 못해 DeepSeek-V3 대비 큰 향상이 없었습니다.
• 안전: 탈옥 공격으로 위험한 내용을 낼 수 있고, 추론력이 좋아진 만큼 그 내용의 실행 가능성도 높아질 수 있습니다. 공개 모델은 추가 미세조정으로 안전 장치가 약해질 수도 있습니다.
• 이 글의 손계산 예는 해설용이며 논문 수치가 아닙니다.

이어서 읽을 것

• 앞: DeepSeekMath(GRPO) · PPO · 생각의 사슬 프롬프팅 · 자기 일관성
• 함께: InstructGPT (보상 모델 기반 RLHF와 비교) · AlphaZero (논문이 MCTS 시도의 영감으로 든 연구)

용어 정리

스스로 점검

1. R1-Zero가 SFT를 건너뛴 이유는?

   사람이 정한 추론 패턴이 모델의 탐색을 제한할 수 있다고 봤기 때문입니다. 형식만 정하고 내용은 비워 RL로 스스로 추론법을 찾게 했습니다.

2. 추론 과제에 신경망 보상 모델 대신 규칙 보상을 쓴 이유는?

   신경망 보상 모델은 대규모 RL에서 보상 해킹에 취약하고, 재학습 비용과 파이프라인 복잡도가 커지기 때문입니다.

3. 작은 모델의 추론 능력을 높이려면 직접 RL과 증류 중 무엇이 나았나?

   증류입니다. Qwen2.5-32B에 직접 RL한 모델보다 R1에서 증류한 모델이 AIME 등에서 크게 앞섰습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 중간 점검: 정렬 — 정렬 트랙 전체를 문제로 점검
• SWE-bench: 실제 깃허브 이슈를 풀 수 있는가 — 실제 깃허브 이슈 2,294개를 실제 테스트로 채점하는 저장소 단위 코딩 벤치마크

출처

• 원문: arxiv.org/abs/2501.12948 (2025 · DeepSeek-AI)