보수적 Q-러닝 (CQL)

보수적 Q-러닝 (CQL)

이미 모아 둔 데이터만으로 강화학습을 할 때 생기는 'Q값 과대평가'를, Q 함수에 간단한 벌점 하나를 더해 막은 논문입니다. 학습한 Q 함수로 계산한 정책 가치가 실제 가치의 하한이 되도록 만들어, 여러 정책이 섞인 복잡한 데이터에서 기존 방법보다 2~5배 높은 수익을 내는 경우가 많았습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 오프라인 강화학습 튜토리얼 · 리뷰 — 이미 모은 데이터만으로 정책을 배우는 오프라인 강화학습의 난제(분포 이동)와 해법 총정리
• 소프트 액터-크리틱 (SAC) — 보상과 엔트로피를 함께 최대화하는 오프폴리시 확률적 액터-크리틱, SAC

한눈에 보기

• 오프라인 강화학습에서 Q값이 왜 과대평가되는지, 그리고 '정책을 묶는' 기존 해법과 'Q 함수를 누르는' CQL의 차이를 알게 됩니다.
• CQL 벌점 식의 두 항(분포 밖 행동은 누르고, 데이터 속 행동은 올리고)이 각각 무엇을 하는지 손으로 계산해 봅니다.
• "점마다의 하한"과 "정책 가치의 하한"이 왜 다르고, 왜 후자가 덜 보수적인지 이해합니다.
• 기존 SAC · DQN 구현에 약 20줄을 더하는 실제 알고리즘과 D4RL · 아타리 결과를 정리합니다.

초록 (번역)

강화학습(RL)에서 이전에 수집한 대규모 데이터셋을 효과적으로 활용하는 것은 대규모 실제 응용의 핵심 과제입니다. 오프라인 RL 알고리즘은 추가 상호작용 없이 이전에 수집한 정적 데이터셋에서 효과적인 정책을 학습할 수 있으리라는 기대를 줍니다. 그러나 실제로 오프라인 RL은 큰 어려움을 안고 있으며, 표준 오프폴리시 RL 방법은 데이터셋과 학습된 정책 사이의 분포 이동으로 생기는 가치 과대평가 때문에 실패할 수 있고, 특히 복잡하고 다봉(multi-modal)적인 데이터 분포에서 학습할 때 그렇습니다. 이 논문에서는 이러한 한계를 해결하기 위해, 이 Q 함수 아래에서의 정책 기대 가치가 실제 가치의 하한이 되도록 보수적인 Q 함수를 학습하는 보수적 Q-러닝(CQL)을 제안합니다. 우리는 CQL이 현재 정책 가치의 하한을 만들어 낸다는 것과, 이론적 개선 보장을 갖춘 정책 학습 절차에 통합될 수 있다는 것을 이론적으로 보입니다. 실제로 CQL은 표준 벨만 오차 목적에 간단한 Q값 정규화 항을 더하는데, 이는 기존 딥 Q-러닝 및 액터-크리틱 구현 위에 쉽게 구현할 수 있습니다. 이산 및 연속 제어 분야 모두에서 CQL은 기존 오프라인 RL 방법을 크게 앞서며, 특히 복잡하고 다봉적인 데이터 분포에서 학습할 때 최종 수익이 2~5배 높은 정책을 학습하는 경우가 많음을 보입니다.

무엇을 풀었나

오프라인 강화학습은 새 데이터를 모으지 않고 고정된 데이터셋 $\mathcal{D}$만으로 배웁니다. 그런데 Q-러닝 · 액터-크리틱을 그대로 쓰면 행동 분포 이동 문제가 생깁니다.

• 벨만 목표 $r + \gamma\,\mathbb{E}_{a' \sim \pi}[Q(s', a')]$를 계산할 때 다음 행동 $a'$은 학습 중인 정책에서 나옵니다.
• Q 함수는 데이터 속 행동(행동 정책 $\pi_\beta$의 행동)으로만 학습됐으므로, 데이터에 없는 분포 밖(OOD) 행동 의 Q값은 엉터리일 수 있습니다.
• 정책은 Q를 최대화하도록 학습되니, 실수로 높게 매겨진 OOD 행동 쪽으로 끌려갑니다. 온라인이라면 해 보고 고치지만 오프라인에서는 고칠 수 없습니다.

기존 해법(BEAR · BRAC 등)은 정책을 행동 정책 근처로 묶었습니다(KL · MMD · 바서슈타인 거리). 하지만 이 방법들은 대부분 행동 정책 $\pi_\beta$를 따로 추정해야 하고, 여러 출처의 데이터가 섞여 행동 정책이 복잡할수록 추정이 어렵습니다. 불확실성 추정으로 막는 방법은 오프라인에서 요구되는 불확실성의 정확도가 너무 높아 잘 되지 않았습니다.

CQL의 질문은 이렇습니다. "정책을 묶지 말고, Q 함수 자체가 낙관하지 않도록 학습하면 어떨까?"

핵심 아이디어

12345678flowchart LR
  D[고정 데이터셋 D] --> B[보통의 벨만 오차]
  D --> P[CQL 벌점: 정책이 고를 행동의 Q는 누르고, 데이터 속 행동의 Q는 올림]
  B --> Q[보수적 Q 함수 학습]
  P --> Q
  Q --> A[정책 개선: SAC식 액터 또는 Q 최댓값 행동]
  A --> P
  A --> O[가치 하한을 보장받은 정책]

1. 기본 벌점 — Q값을 아래로 누르기

직관: 처음 가 보는 가게의 평점은 일부러 깎아서 생각하는 신중한 사람처럼, 확인되지 않은 행동의 Q값을 누르는 것입니다(해설용 비유).

단계: 보통의 벨만 오차 최소화에, 어떤 분포 $\mu(a \mid s)$에서 뽑은 행동의 Q값을 최소화하는 항을 더합니다. 상태는 데이터에서만 뽑습니다(벨만 백업이 분포 밖 상태를 질의하지 않으므로, 문제는 행동 쪽뿐이기 때문입니다).

논문 정리 3.1은 $\alpha$가 충분히 크면 이렇게 얻은 $\hat{Q}$가 모든 상태-행동에서 참 $Q^\pi$의 하한이 된다고 보입니다. 하지만 이건 너무 보수적입니다. 데이터에 잘 나와 있는 행동까지 깎기 때문입니다.

2. 더 촘촘한 하한 — 데이터 속 행동은 다시 올리기

직관: 처음 보는 가게는 깎되, 여러 번 가 본 단골 가게까지 깎을 필요는 없습니다.

단계: 데이터 분포(경험적 행동 정책 $\hat{\pi}_\beta$)에서 뽑은 행동의 Q값을 최대화하는 항을 더합니다.

• 정리 3.2: $\mu = \pi$일 때 이 $\hat{Q}$는 점마다의 하한은 아닐 수 있지만, 정책 아래 기대 가치 $\hat{V}^\pi(s) = \mathbb{E}_{\pi(a \mid s)}[\hat{Q}(s,a)]$는 참 가치 $V^\pi(s)$의 하한이 됩니다.

왜 이렇게 했나: 정책 평가와 개선에 실제로 쓰이는 것은 점마다의 Q가 아니라 정책 아래 기대값이기 때문입니다. 그 값만 하한이면 충분하므로, 데이터에 많은 행동의 Q는 덜 깎아도 됩니다. 논문 표 4는 식 1 버전이 식 2(CQL(H))보다 훨씬 더 과소평가한다는 것을 보여 줍니다. 또 데이터가 많아질수록 하한 보장에 필요한 $\alpha$가 작아진다고 밝힙니다.

3. 실제로 쓰는 형태 — CQL(H)

직관: "정책이 고를 행동"을 매번 따로 정하지 말고, 지금 Q 기준으로 가장 낙관적인 행동들을 부드럽게 골라 누르자는 것입니다.

$\mu$를 지금 Q를 최대화하는 쪽으로 고르되 엔트로피 정규화를 걸면, 첫 항이 log-sum-exp(부드러운 최댓값)가 됩니다.

숫자로 해 보기(해설용 예): 어떤 상태에서 행동이 3개, 현재 Q가 $(2, 1, 5)$이고 데이터에는 행동 1만 있다고 합시다. 행동 3(Q=5)은 데이터에 없는 행동입니다.

• $\log(e^2 + e^1 + e^5) = \log(7.39 + 2.72 + 148.41) = \log 158.52 \approx 5.07$
• 벌점 $= 5.07 - 2 = 3.07$
• log-sum-exp의 기울기는 소프트맥스 $(0.047, 0.017, 0.936)$입니다. 그래서 경사 하강을 하면 행동 3의 Q가 가장 크게(0.936만큼의 비율로) 내려갑니다.
• 데이터 항 때문에 행동 1의 Q에는 $0.047 - 1 = -0.953$의 기울기가 걸려, 오히려 올라갑니다.

결과적으로 데이터에 없는데 높게 튄 값은 내려가고, 데이터에 있는 행동은 유지되거나 올라갑니다. 논문은 이를 간격 확장(gap-expanding) 성질이라 부릅니다(정리 3.4). 분포 안 행동과 분포 밖 행동의 Q 차이가 실제보다 커지므로, $\exp(Q)$에 비례하는 정책은 저절로 데이터 쪽으로 끌려옵니다. 정책을 명시적으로 묶지 않아도 묶는 효과가 생기는 셈입니다.

또 다른 변형은 $\mu$의 사전 분포를 직전 정책으로 두는 CQL($\rho$)입니다. log-sum-exp를 표본으로 추정하면 분산이 커지는 고차원 행동 공간(Adroit 손 로봇)에서 더 안정적이었다고 합니다.

4. 이론적 보장 — 안전한 정책 개선

• 정리 3.3: 정책이 천천히 바뀐다는 조건에서, CQL의 각 반복은 다음 정책의 가치를 아래에서 추정합니다. 즉 매번 "자기 가치의 하한"에 대해 최적화합니다.
• 정리 3.5: CQL로 얻은 정책은 데이터로 만든 경험적 MDP에서의 수익에서, 행동 정책과의 차이 $D_{\text{CQL}}$에 비례하는 벌점을 뺀 목적을 최대화하는 것과 같습니다.

• 정리 3.6: 이렇게 얻은 정책은 높은 확률로 실제 MDP에서 행동 정책보다 많아야 $\zeta$만큼만 나쁘고, 적절한 $\alpha$에서는 행동 정책보다 나아집니다($\zeta$-안전 정책 개선). 표본 오차가 작을수록(데이터가 많을수록) 작은 $\alpha$로도 개선됩니다.

숫자로 해 보기(해설용 예): 행동 2개, 행동 정책 $\pi_\beta = (0.5, 0.5)$, 새 정책 $\pi = (0.8, 0.2)$이면 $D_{\text{CQL}} = 0.8 \times (0.8/0.5 - 1) + 0.2 \times (0.2/0.5 - 1) = 0.48 - 0.12 = 0.36$입니다. 새 정책이 행동 정책과 같으면 0이고, 멀어질수록 커집니다.

5. 실제 알고리즘

1. Q 함수를 식 (CQL(H) 또는 CQL($\rho$))으로 $G_Q$번 경사 하강합니다. Q-러닝 판은 최적 벨만 연산자, 액터-크리틱 판은 정책 벨만 연산자를 씁니다.
2. (액터-크리틱만) 정책을 SAC식 엔트로피 정규화 목적 $\mathbb{E}[Q(s,a) - \log \pi(a \mid s)]$로 $G_\pi$번 갱신합니다.

• 연속 제어는 SAC 위에, 이산 제어는 QR-DQN 위에 약 20줄만 더해 구현합니다.
• 행동 정책 추정기를 따로 둘 필요가 없습니다(정책 제약 방법과의 큰 차이).
• 연속 제어에서는 $\alpha$를 라그랑주 쌍대 경사로 자동 조정하고, 이산 제어에서는 상수로 둡니다.
• 정리 3.3의 '정책은 천천히' 조건에 맞춰 정책 학습률을 3e-5로(Q 함수는 3e-4 또는 1e-4) 둡니다.

결과

D4RL gym 과제(정규화 수익, 4개 시드 평균) — 한 정책이 모은 데이터(random · medium · expert)에서는 기존 최고와 비슷하거나 조금 낫고, 여러 정책이 섞인 데이터에서 크게 앞섰습니다.

AntMaze · Adroit · Kitchen — 최적이 아닌 궤적 조각을 이어 붙여야 하는 AntMaze 중간 · 큰 미로에서 0이 아닌 점수를 낸 것은 CQL뿐이었습니다(예: antmaze-medium-play 61.2, 다른 방법 모두 0.0). 사람 시연 데이터로 24자유도 손을 다루는 Adroit에서는 CQL만 행동 복제(BC)를 넘었고 다음으로 좋은 오프라인 RL 방법의 2~9배였습니다. Kitchen에서는 모든 과제에서 40% 넘는 성공률로 BC를 넘은 유일한 방법이었습니다.

아타리(이미지 입력, 이산 행동) — 온라인 DQN이 본 데이터의 1%만 쓸 때:

Q*bert와 Breakout에서 기존 최고의 36배 · 6배 수익을 냈습니다. 10% 데이터에서는 대체로 더 좋았지만 Seaquest · Asterix에서는 REM 또는 QR-DQN이 더 높았습니다.

정말 하한인가(표 4) — 예측 가치에서 실제 가치를 뺀 값이 CQL(H)은 hopper-medium-expert −43.20, hopper-mixed −10.93, hopper-medium −7.48로 모두 음수(하한)였습니다. 앙상블 최솟값이나 BEAR는 양수로 과대평가했고, 식 1 버전은 −151.36 등으로 훨씬 더 과소평가했습니다.

왜 중요한가 · 이후 영향

• 오프라인 강화학습의 대표 기준선이 됐습니다. 구현이 간단하고(약 20줄) 행동 정책 추정이 필요 없어, 이후 오프라인 RL 논문에서 가장 자주 비교되는 방법 중 하나가 됐습니다.
• "정책을 묶기" 대신 "가치를 비관하기" 라는 설계 방향을 정착시켰습니다. 확인되지 않은 것은 비관적으로 보라는 원칙은 오프라인 의사결정 전반의 기본 태도가 됐습니다.
• LLM과의 연결. 고정 데이터와 학습된 평가 함수 위에서 정책을 최적화하면 평가 함수가 과대평가한 곳으로 정책이 끌려가는 현상은 RLHF의 보상 모델 과최적화와 같은 구조입니다. 비관적 추정 · 행동 정책과의 거리 벌점은 그 문제를 다룰 때도 쓰이는 생각입니다.

한계 · 주의할 점

• 딥 신경망에서의 이론은 열려 있습니다. 하한 증명은 표 형식 · 선형 · 일부 비선형(NTK) 경우까지이고, 일반 딥 신경망에 대한 엄밀한 분석은 후속 과제로 남겼습니다.
• 과적합 · 조기 종료 문제. 저자들은 오프라인 RL도 지도학습처럼 과적합할 수 있으며, 검증 오차 같은 간단한 조기 종료 기준이 필요하다고 지적합니다.
• $\alpha$ 선택. 너무 크면 지나치게 보수적이고, 너무 작으면 하한이 깨집니다. 연속 제어는 자동 조정, 이산 제어는 고정값을 썼습니다.
• 고차원 행동에서 log-sum-exp 추정. 표본으로 추정하면 분산이 커져, Adroit에서는 CQL($\rho$) 변형이 더 안정적이었습니다.
• 10% 아타리 데이터의 일부 게임에서는 기존 방법이 더 좋았습니다. 모든 경우에 앞서는 것은 아닙니다.

이어서 읽을 것

• 앞: 오프라인 강화학습 튜토리얼 · 리뷰
• 바탕 알고리즘: SAC (소프트 액터-크리틱) · DQN · Double DQN (과대평가 문제의 온라인 판)
• 다른 접근: 결정 트랜스포머 (시퀀스 모델로 오프라인 RL)

용어 정리

스스로 점검

1. CQL 벌점의 두 항은 각각 무엇을 하나?

   — 첫 항(log-sum-exp 또는 $\mu$ 아래 Q 평균)은 정책이 고를 법한 낙관적 행동의 Q를 누르고, 둘째 항(데이터 속 행동의 Q 평균, 빼기)은 데이터에 있는 행동의 Q를 올립니다. 그래서 데이터 밖 행동만 선택적으로 비관하게 됩니다.

2. 식 1(누르기만)보다 식 2(누르고 올리기)가 나은 이유는?

   — 식 1은 모든 상태-행동에서 하한을 만들어 지나치게 보수적입니다. 정책 평가에 필요한 것은 정책 아래 기대 가치의 하한뿐이므로, 데이터 속 행동을 올려 주는 식 2가 더 촘촘한(덜 비관적인) 하한을 줍니다.

3. CQL이 BEAR · BRAC 같은 정책 제약 방법과 다른 점은?

   — 정책을 행동 정책 근처로 직접 묶지 않고 Q 함수를 정규화합니다. 그래서 행동 정책 추정기가 필요 없고, 여러 정책이 섞인 복잡한 데이터에서 특히 강했습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 결정 트랜스포머: 시퀀스 모델링으로 하는 강화학습 — 강화학습을 GPT식 시퀀스 모델링으로 — 목표 수익을 조건으로 다음 행동을 생성

출처

• 원문: https://arxiv.org/abs/2006.04779 (2020 · Aviral Kumar 외)