오프라인 강화학습 튜토리얼 · 리뷰

오프라인 강화학습 튜토리얼 · 리뷰

새 데이터를 더 모으지 않고 이미 쌓인 기록만으로 정책을 학습하는 '오프라인 강화학습'의 문제 정의, 왜 어려운지(분포 이동), 지금까지 나온 해법(중요도 샘플링 · 정책 제약 · 불확실성 · 보수적 Q · 모델 기반)과 남은 문제를 한 번에 정리한 튜토리얼입니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• Hugging Face 딥 강화학습 강좌 — 몬테카를로 · TD · Q-러닝 · SARSA를 손계산하고 DQN의 리플레이 버퍼 · 타깃 네트워크까지 잇는 수업
• OpenAI Spinning Up: 딥 강화학습 입문 — 로그 미분 트릭으로 정책 경사를 유도하고 reward-to-go · 기준값 · 액터-크리틱까지 손계산하는 수업

한눈에 보기

• 온라인 · 오프폴리시 · 오프라인 강화학습의 차이를 정확히 구분하게 됩니다.
• 오프라인 강화학습의 핵심 난제인 분포 이동(distributional shift) 이 무엇이고, 왜 데이터를 늘려도 사라지지 않는지 압니다.
• 중요도 샘플링이 긴 시간 범위에서 왜 무너지는지 숫자로 확인합니다.
• 정책 제약 · 불확실성 추정 · 보수적 Q 함수 · 모델 기반 방법이 각각 분포 이동을 어떻게 다루는지 지도처럼 정리할 수 있습니다.

초록 (번역)

이 튜토리얼 글은 오프라인 강화학습 알고리즘, 즉 추가 온라인 데이터 수집 없이 이미 모아 둔 데이터를 활용하는 강화학습 알고리즘 연구를 시작하는 데 필요한 개념적 도구를 독자에게 제공하는 것을 목표로 합니다. 오프라인 강화학습 알고리즘은 대규모 데이터셋을 강력한 의사결정 엔진으로 바꿀 수 있게 해 줄 엄청난 가능성을 지니고 있습니다. 효과적인 오프라인 강화학습 방법은 가용 데이터에서 가능한 최대의 효용을 가진 정책을 뽑아낼 수 있어, 의료와 교육에서 로봇공학에 이르는 폭넓은 의사결정 분야를 자동화할 수 있게 해 줄 것입니다. 그러나 현재 알고리즘의 한계 때문에 이는 어렵습니다. 이 글은 특히 현대 딥 강화학습 방법의 맥락에서 이러한 어려움을 독자가 이해하도록 돕고, 최근 연구에서 이 어려움을 완화하려고 탐구한 몇 가지 해법을 최근 응용 사례와 함께 설명하며, 이 분야의 열린 문제에 대한 관점을 논의합니다.

무엇을 풀었나

강화학습은 원래 직접 해 보면서 배우는 방식입니다. 행동하고, 결과를 보고, 고칩니다. 그런데 현실에는 "직접 해 보기"가 위험하거나 비싼 분야가 많습니다.

• 의료: 덜 학습된 정책으로 환자를 치료할 수는 없습니다. 대신 의사들이 실제로 내린 처치 기록은 많습니다.
• 목표 지향 대화: 사람과 대화하며 학습하려면 엄청난 수의 실제 사용자가 필요합니다. 대신 상담원-고객 대화 기록이 쌓여 있습니다.
• 로봇 조작: 기술 하나마다 많은 상호작용이 필요하지만, 예전에 다른 기술을 배우며 모은 데이터를 모두 재활용할 수 있다면 새 데이터 없이도 배울 수 있을지 모릅니다.

지도학습이 큰 데이터셋 덕분에 크게 발전한 것처럼, 강화학습도 고정된 데이터셋만으로 배울 수 있다면 같은 '규모의 축복'을 누릴 수 있습니다. 이 튜토리얼은 그 목표가 왜 어려운지, 그리고 지금까지 어떤 길이 탐색됐는지를 정리합니다.

핵심 아이디어

1234567891011121314flowchart LR
  B[행동 정책 π_β가 모은 고정 데이터셋 D] --> L[오프라인 학습: 새 데이터 수집 없음]
  L --> P1[중요도 샘플링: 평가 · 정책 경사]
  L --> P2[동적 계획법: Q-러닝 · 액터-크리틱]
  L --> P3[모델 기반: 동역학 모델 학습]
  P2 --> S[행동 분포 이동 → Q 과대평가]
  S --> F1[정책 제약 · 벌점]
  S --> F2[불확실성 추정]
  S --> F3[보수적 Q 함수]
  P3 --> X[모델 악용 → 불확실성 벌점]
  F1 --> O[학습된 정책 π → 실제 환경 배치]
  F2 --> O
  F3 --> O
  X --> O

1. 문제 정의 — 고정 데이터셋에서 최선의 정책 찾기

직관: 운전 연수를 하는데 차에 탈 수는 없고, 다른 사람들이 운전한 블랙박스 영상 묶음만 받은 상황입니다. 영상 속 운전자보다 잘 운전하는 법을 영상만 보고 배워야 합니다(해설용 비유).

단계: 어떤 행동 정책(behavior policy) $\pi_\beta$가 모은 전이 기록 $\mathcal{D} = \{(s_t^i, a_t^i, s_{t+1}^i, r_t^i)\}$이 주어집니다 → 학습 알고리즘은 환경과 더 상호작용하지 못합니다 → 이 데이터만으로 실제 환경에 배치했을 때 누적 보상이 가장 큰 정책 $\pi(a \mid s)$를 만들어야 합니다.

용어 정리하기: 저자들은 '오프폴리시(off-policy)'는 다른 정책이 모은 데이터를 쓰는 모든 방법(그러나 보통 온라인 수집도 함께 함)을, '배치 강화학습'은 뜻이 헷갈릴 수 있어서, 추가 수집이 전혀 없는 경우를 오프라인 강화학습 으로 부르자고 정리합니다. 원리상 어떤 오프폴리시 알고리즘도 오프라인으로 돌릴 수 있지만(Q-러닝의 버퍼를 $\mathcal{D}$로 채우고 수집을 끄기), 그대로는 잘 되지 않는다는 것이 이 글의 출발점입니다.

2. 왜 어려운가 — "만약에" 질문과 분포 이동

직관: 데이터 속 운전자보다 잘하려면, 데이터에 없는 행동("여기서 차선을 바꿨다면?")을 평가해야 합니다. 이런 반사실적 질문(counterfactual query) 은 학습 데이터와 같은 분포에서만 성능을 보장하는 일반 머신러닝 도구가 가장 약한 부분입니다.

탐험을 못 한다는 점도 어렵지만, 그건 어쩔 수 없으니 데이터가 좋은 영역을 충분히 덮는다고 가정합니다. 더 미묘하고 실제로 중요한 문제는 분포 이동 입니다. 함수(정책 · 가치 · 모델)는 한 분포에서 학습되지만, 다른 분포에서 쓰입니다. 새 정책이 다른 상태를 방문하기 때문이고, 더 미묘하게는 기대 수익을 '최대화'하는 행위 자체가 학습 분포 밖을 찾아가게 만들기 때문입니다.

저자들은 이 해로움을 모방 학습의 고전 결과로 보여 줍니다. 모든 상태에 정답 행동 라벨이 붙어 있는 아주 유리한 경우에도, 정책이 저지르는 실수 수 $\ell(\pi)$의 최선의 상한은 다음과 같습니다.

왜 $H^2$인가: 오프라인에서는 한 번 실수해 데이터에 없던 상태로 들어가면, 거기서는 오차 보장이 없어 계속 실수하고 분포 밖에 남을 수 있습니다(남은 기간 동안 $O(H)$ 실수). 매 단계 이렇게 빠질 확률이 있으니 전체는 $O(H^2)$가 됩니다. 새 정책으로 데이터를 더 모을 수 있으면 이 문제가 없어 $O(H)$입니다.

숫자로 해 보기(해설용 예, 상수 $C$ 제외): $\epsilon = 0.01$, $H = 100$이면 온라인 상한은 $100 \times 0.01 = 1$번, 오프라인 상한은 $100^2 \times 0.01 = 100$번입니다. 같은 1% 오차라도 시간 범위가 길면 오프라인 쪽은 100배까지 나빠질 수 있다는 뜻입니다.

3. 중요도 샘플링 — 평가는 되지만 분산이 폭발

직관: 다른 사람의 기록으로 "내 방식이었다면 몇 점?"을 추정하려면, 내 정책이 더 자주 했을 행동은 크게, 덜 했을 행동은 작게 다시 가중합니다.

이 추정량은 치우침이 없지만, 비율을 시간마다 곱하기 때문에 분산이 지수적으로 커집니다.

숫자로 해 보기(해설용 예): 매 단계 비율이 1.5인 궤적이 10단계면 가중치는 $1.5^{10} \approx 57.7$, 비율이 0.5인 궤적은 $0.5^{10} \approx 0.001$입니다. 궤적 몇 개가 추정을 혼자 좌우하게 됩니다. 저자들은 이 방법으로 믿을 만하게 얻을 수 있는 개선이 (i) 행동 정책이 얼마나 나쁜지 (ii) 상태 · 행동 차원 (iii) 실질 시간 범위에 의해 제한된다고 정리합니다. 그래서 새 정책이 행동 정책에서 조금만 벗어날 때 적합합니다. 비율을 곱하지 않는 근사 · 주변화(marginalized) 중요도 샘플링도 소개하지만 근본 문제는 남는다고 봅니다.

4. 동적 계획법의 함정 — 분포 밖 행동의 Q 과대평가

직관: 맛집 평점 앱에서 리뷰가 하나도 없는 가게가 "평점 5.0"으로 떠 있으면, 가장 높은 평점만 고르는 사람은 매번 그 가게로 갑니다. 실제로 가 볼 수 없으니 그 착각은 고쳐지지 않습니다.

Q-러닝 · 액터-크리틱은 벨만 목표를 계산할 때 다음 행동을 새 정책에서 뽑습니다.

• 상태 $s'$는 데이터에서 오므로 학습 분포 안이지만, 행동 $a'$은 새 정책에서 와서 데이터에 없던 행동 일 수 있습니다.
• 정책은 Q를 최대화하도록 학습되므로, Q가 실수로 높게 매긴 분포 밖 행동을 일부러 찾아갑니다.
• 온라인이라면 그 행동을 실제로 해 보고 "아니네" 하고 고치지만, 오프라인에서는 고칠 수 없어 오차가 반복마다 쌓입니다.

저자들은 Kumar et al.(2019)의 실험(HalfCheetah에서 오프라인 SAC)을 인용해 이것을 '학습 취소(unlearning)' 효과 로 설명합니다. 수익이 처음엔 오르다 학습을 계속할수록 크게 떨어지고, 학습된 Q값은 터무니없이 커집니다. 데이터 수를 1,000개에서 1,000,000개까지 늘려도 비슷하게 나타나, 보통의 과적합과는 다른 현상이라고 봅니다.

숫자로 해 보기(해설용 예): 데이터에 있는 행동 A의 참값 · 추정값이 모두 5이고, 데이터에 없는 행동 B의 참값은 1인데 추정이 무작위 오차로 8이 됐다고 합시다. 최대값을 고르면 목표에 8이 들어가고, 이 과대평가가 이전 상태들의 Q로 번져 갑니다. 반복할수록 숫자는 커지기만 합니다.

5. 해법 지도 ① — 정책 제약과 벌점

직관: "리뷰가 있는 가게 근처에서만 고르라"는 규칙을 거는 것입니다.

• $D$는 두 정책 사이의 거리(보통 KL 같은 f-발산, 또는 적분 확률 거리 IPM)입니다. 거리를 정하는 방법과 제약을 거는 방법(정책에 직접 vs 보상 · Q에 벌점)으로 방법들이 갈립니다.
• 벌점형: 보상에서 거리를 빼 $\bar{r}(s,a) = r(s,a) - D(\pi(\cdot \mid s), \pi_\beta(\cdot \mid s))$로 바꾸면, 지금뿐 아니라 앞으로 더 멀어질 행동까지 피하게 됩니다.

왜 이렇게 하나: Q 함수에 넣는 행동이 늘 학습 분포 안에 있으면 지도학습의 일반화 보장이 그대로 통하기 때문입니다. 대가: 행동 정책 근처에 묶이므로, 행동 정책이 나쁘면 최종 성능도 그만큼 제한됩니다. 또 대부분의 방법은 $\pi_\beta$를 데이터에서 추정해야 하는데, 행동이 여러 갈래(다봉)인 데이터에서는 이 추정이 어렵습니다.

6. 해법 지도 ② — 불확실성 추정과 보수적 Q 함수

• 불확실성 기반: 앙상블 등으로 Q 함수의 인식적 불확실성을 추정하고, 불확실성이 큰(=분포 밖일 가능성이 큰) 행동의 값을 깎아 보수적으로 개선합니다. 저자들은 탐험에서는 "좋은 행동이 불확실성 집합 안에 있기만 하면" 되지만 오프라인에서는 불확실성이 Q의 신뢰도를 정확히 반영해야 하므로 요구 수준이 훨씬 높고, 지금까지는 정책 제약 · 보수적 가치 방법이 순수 불확실성 방법보다 잘 됐다고 정리합니다.
• 보수적 Q 함수: 정책을 묶는 대신 Q 함수 자체를 정규화해 분포 밖 행동의 값을 눌러 둡니다. 기본 형태의 벌점은 어떤 분포 $\mu$에서 뽑은 행동의 Q값을 낮추는 항입니다.

$\mathcal{E}$는 보통의 벨만 오차, $\mathcal{C}$는 보수성 벌점입니다. $\mu$를 벌점이 커지는 쪽으로 고르면 높게 튄 Q값을 골라 누르는 효과가 납니다. 정책을 명시적으로 두지 않는 Q-러닝에도 쓸 수 있고 $\pi_\beta$를 추정할 필요가 없다는 장점이 있습니다(자세한 내용은 CQL).

7. 해법 지도 ③ — 모델 기반 오프라인 강화학습

동역학 모델 $T_\psi(s_{t+1} \mid s_t, a_t)$를 데이터로 배우고 그 안에서 계획하거나 정책을 학습할 수도 있습니다. 하지만 모델도 분포 이동을 겪습니다. 정책이 모델 안에서 보상을 최대화하다 보면, 모델이 실제보다 좋은 결과를 잘못 예측하는 분포 밖 상태 · 행동을 악용(model exploitation) 하게 됩니다. 온라인 모델 기반 연구는 주로 모델의 불확실성 추정(가우시안 과정, 베이지안 신경망, 앙상블)으로 이를 막아 왔고, 오프라인에서도 불확실성 벌점이 핵심 도구라고 정리합니다.

결과

새 실험을 내는 논문이 아니라 정리 글이므로, 글이 제시하는 핵심 관찰을 요약합니다.

왜 중요한가 · 이후 영향

• 분야의 교과서 역할을 했습니다. 오프라인 강화학습의 용어 · 문제 정의 · 해법 분류(정책 제약 / 불확실성 / 보수적 가치 / 모델 기반)는 이후 논문들이 그대로 쓰는 틀이 됐습니다.
• 데이터 중심 강화학습이라는 방향. "로그 데이터를 의사결정 엔진으로"라는 관점은 의료 · 추천 · 자율주행 · 대화 같은 응용을 겨냥합니다.
• 궤적 이어 붙이기(stitching). 데이터에 1→2, 2→3으로 가는 조각만 있어도 1→3을 배울 수 있다는 관점은, 데이터 속 최고 궤적보다 나은 정책을 기대할 수 있는 근거로 자주 인용됩니다. 이후 결정 트랜스포머 같은 시퀀스 모델 접근을 평가하는 기준이 되기도 했습니다.
• LLM과의 연결. 이 글은 대화를 순차 의사결정으로 보고, 사람끼리의 대화 기록으로 오프라인 강화학습을 하는 사례를 소개합니다. 고정된 데이터와 학습된 평가자(보상 모델) 위에서 정책을 최적화할 때 생기는 '분포 밖 악용' 문제는 RLHF의 보상 해킹을 이해하는 데도 같은 틀로 쓰입니다.

한계 · 주의할 점

• 2020년 시점의 정리입니다. 그 뒤에 나온 방법들은 당연히 다루지 않으므로, 최신 동향은 후속 논문으로 보완해야 합니다.
• 데이터 '충분성' 조건은 열린 문제입니다. 저자들도 어떤 데이터면 최적에 가까운 정책을 보장할 수 있는지에 대한 자명하지 않은 조건은 알려져 있지 않다고 각주에서 밝힙니다.
• 수식 상한은 대부분 느슨합니다. 위의 $H^2$ · KL 상한은 방향을 보여 줄 뿐 실제 성능 예측에 쓰기엔 거칩니다.
• 오프라인 평가 자체가 어렵습니다. 시뮬레이터가 없으면 학습한 정책을 실제로 돌려 보지 않고 성능을 알아내는 오프폴리시 평가(OPE)에 기대야 하는데, 이것도 아직 연구 중인 문제입니다.

이어서 읽을 것

• 보수적 Q 함수: CQL (보수적 Q-러닝)
• 시퀀스 모델로 오프라인 강화학습: 결정 트랜스포머
• 바탕이 되는 오프폴리시 알고리즘: DQN · SAC · TD3
• 정책 간 KL 제약의 원조: TRPO

용어 정리

스스로 점검

1. 오프폴리시 강화학습과 오프라인 강화학습의 차이는?

   — 오프폴리시는 다른 정책이 모은 데이터를 쓸 수 있다는 뜻일 뿐 보통 온라인 수집도 계속합니다. 오프라인은 학습 중 새 데이터를 전혀 모으지 않습니다.

2. 데이터를 아무리 늘려도 오프라인 Q-러닝이 망가질 수 있는 이유는?

   — 벨만 목표에서 새 정책이 고른 분포 밖 행동의 Q값을 쓰는데, 정책이 Q를 최대화하므로 과대평가된 행동을 일부러 찾아가고, 오프라인에서는 그 착각을 실제 경험으로 고칠 수 없기 때문입니다. 이는 표본 수가 아니라 행동 분포의 차이에서 오는 문제입니다.

3. 정책 제약 방법의 장점과 대가는?

   — Q 함수가 학습 분포 안의 행동에만 질의되게 해 오차 누적을 막는 것이 장점이고, 행동 정책 근처에 묶여 행동 정책이 나쁘면 개선 폭이 제한되며 행동 정책을 추정해야 한다는 것이 대가입니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 보수적 Q-러닝 (CQL) — Q 함수에 벌점을 더해 정책 가치의 하한을 학습, 오프라인 강화학습의 과대평가를 막음
• 결정 트랜스포머: 시퀀스 모델링으로 하는 강화학습 — 강화학습을 GPT식 시퀀스 모델링으로 — 목표 수익을 조건으로 다음 행동을 생성

출처

• 원문: https://arxiv.org/abs/2005.01643 (2020 · Sergey Levine 외)