Rainbow: DQN 개선 기법 결합

Rainbow: DQN 개선 기법 결합

서로 따로 나온 DQN 개선 기법 여섯 가지(Double Q-러닝 · 우선순위 재생 · 듀얼링 · 다단계 학습 · 분포 강화학습 · 노이즈 넷)를 한 에이전트에 합친 논문입니다. 합친 에이전트는 아타리 57개 게임에서 데이터 효율과 최종 성능 모두 당시 최고였고, 하나씩 빼 보는 실험으로 어느 부품이 얼마나 중요한지도 밝혔습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 이중 Q-러닝 딥 강화학습 (Double DQN) — DQN의 과대평가를 고르기 · 값 매기기 분리로 줄인 Double DQN — 식 한 줄로 큰 개선
• 듀얼링 네트워크 구조 (Dueling DQN) — Q-네트워크를 상태 가치와 어드밴티지 두 갈래로 나눈 듀얼링 구조 — 구조만 바꿔 성능 향상
• 우선순위 경험 재생 — TD 오차가 큰 경험을 더 자주 다시 보는 우선순위 재생 — 학습 두 배 빠르게

한눈에 보기

• DQN이 가진 한계 여섯 가지와, 각각을 고친 기법이 무엇인지 한 장으로 정리합니다.
• 다단계 학습 · 분포 강화학습 · 노이즈 넷의 식을 이해하고 작은 숫자로 따라 계산해 봅니다.
• 여섯 기법을 서로 충돌 없이 엮는 방법(다단계 분포 손실, KL 손실로 우선순위 매기기, 분포용 듀얼링 구조)을 압니다.
• 하나씩 빼 보는 실험에서 우선순위 재생과 다단계 학습이 가장 중요했다는 결과를 압니다.

초록 (번역)

딥 강화학습 연구계는 DQN 알고리즘에 대해 서로 독립적인 개선을 여러 가지 내놓았습니다. 그러나 이 확장들 가운데 어떤 것이 서로 보완적이어서 함께 결합했을 때 효과가 있는지는 분명하지 않습니다. 이 논문은 DQN 알고리즘의 확장 여섯 가지를 살펴보고, 그 결합을 실험적으로 연구합니다. 실험 결과, 이 결합은 데이터 효율과 최종 성능 모두에서 아타리 2600 벤치마크의 최고 성능을 냅니다. 또한 각 구성 요소가 전체 성능에 얼마나 기여하는지 보여 주는 자세한 절제(ablation) 연구 결과도 제시합니다.

무엇을 풀었나

DQN 이후 많은 개선이 나왔지만, 각자 서로 다른 문제를 하나씩 고쳤습니다. 일부는 이미 짝지어 쓰였습니다(우선순위 DDQN · 듀얼링 DDQN은 둘 다 Double Q-러닝을 쓰고, 듀얼링 DDQN은 우선순위 재생과도 합쳐졌습니다). 하지만 "전부 합치면 더 좋아지나, 서로 방해하나"는 아무도 체계적으로 확인하지 않았습니다.

이 논문은 여섯 가지를 모두 하나의 에이전트 'Rainbow'로 엮고, 하나씩 빼서 각 부품의 기여를 잽니다. 탐색 기법 등은 후보가 많아 서로 다른 문제를 다루는 것만 하나씩 골랐다고 밝힙니다.

핵심 아이디어

12345678910flowchart LR
  A[최근 4프레임 84×84] --> B[공통 합성곱 인코더]
  B --> C[듀얼링 · 노이즈 선형층: 가치 흐름 51개 원자]
  B --> D[듀얼링 · 노이즈 선형층: 어드밴티지 흐름 51×행동 수]
  C --> E[원자별 결합 후 소프트맥스 → 행동별 이득 분포]
  D --> E
  E --> F[3단계 이득으로 목표 분포 만들기 · 행동은 온라인망, 평가는 목표망]
  F --> G[KL 손실 최소화]
  G -->|KL 손실을 우선순위로| H[(비례 우선순위 재생)]
  H --> A

먼저 이미 다룬 세 기법은 짧게 짚습니다.

• Double Q-러닝: 목표값에서 행동은 온라인 신경망으로 고르고 값은 목표 신경망으로 매겨 과대평가를 줄입니다.
• 우선순위 재생: 마지막으로 본 TD 오차의 절댓값에 비례해(지수 $\omega$) 전이를 뽑습니다. 새 전이는 최대 우선순위로 넣습니다. 논문은 확률적인 전이가 더 배울 것이 없어도 우대될 수 있다는 점을 짚습니다.
• 듀얼링: 공통 인코더 위에 가치 흐름과 어드밴티지 흐름을 두고, 평균 어드밴티지를 빼서 합칩니다.

아래는 새로 나오는 세 기법과, 여섯 가지를 엮는 방법입니다.

1. 다단계 학습: 보상을 여러 걸음 모아 쓰기

직관: 한 걸음 걷고 "남은 거리"를 짐작하는 대신, 세 걸음 걸어 실제로 지나온 길을 확인한 뒤 남은 거리를 짐작하면 더 정확합니다. 새로 얻은 보상이 앞쪽 상태로 더 빨리 전달됩니다.

단계:

1. 상태 $S_t$에서 시작해 $n$걸음 동안 받은 보상을 할인해 더합니다.
2. $n$걸음 뒤 상태 $S_{t+n}$의 가치 추정을 그 뒤에 붙입니다.
3. 이 값을 목표로 $q(S_t, A_t)$를 맞춥니다.

왜 이렇게 하나: 한 걸음 목표는 치우침(추정값에 기댐)이 크고 분산이 작으며, 여러 걸음 목표는 치우침이 작고 분산이 큽니다. $n$을 적당히 고르면 학습이 빨라지는 경우가 많습니다. Rainbow에서는 $n$이 민감한 하이퍼파라미터였고, $n = 1, 3, 5$를 비교해 $n = 3$이 최종적으로 가장 좋았습니다.

숫자로 해 보기(해설용 예): $n = 3$, 보상 $1, 0, 2$, $\gamma = 0.9$이면 $R^{(3)} = 1 + 0.9 \times 0 + 0.81 \times 2 = 2.62$입니다. 여기에 $\gamma^3 = 0.729$를 곱한 3걸음 뒤 상태의 최대 Q값을 더해 목표로 씁니다. 뒤 상태 Q값이 5라면 목표는 $2.62 + 0.729 \times 5 \approx 6.27$입니다.

2. 분포 강화학습: 평균 대신 분포를 배우기

직관: "이 길로 가면 평균 30분"보다 "보통 25분인데 가끔 막히면 50분"이 훨씬 많은 정보를 줍니다. 이득(앞으로 받을 보상 합)을 숫자 하나가 아니라 분포로 예측합니다.

단계:

1. 이득이 가질 수 있는 값을 고정된 눈금(원자, atom) $z$로 나눕니다. Rainbow는 원자 51개, 범위 $[-10, 10]$입니다.
2. 신경망은 행동마다 각 원자에 놓일 확률 $p_i(s, a)$를 냅니다(행동마다 소프트맥스).
3. 목표 분포는 다음 상태 분포를 할인율만큼 0 쪽으로 줄이고 보상만큼 옮겨서 만듭니다.
4. 옮긴 분포는 눈금에서 벗어나므로 원래 눈금으로 다시 나눠 담습니다(사영, $\Phi_z$).
5. 예측 분포와 목표 분포의 KL 발산을 줄입니다. 행동 선택은 분포의 평균 $\bar q(s,a) = z^\top p(s,a)$로 합니다.

숫자로 해 보기(해설용, 원자 3개로 단순화): 눈금 $z = [-10, 0, 10]$, 다음 상태 분포 $p = [0.2, 0.5, 0.3]$(평균 $-2 + 0 + 3 = 1$), 보상 1, $\gamma = 0.9$라 합시다.

• 옮긴 위치: $1 + 0.9z = [-8,\ 1,\ 10]$.
• 사영: $-8$은 $-10$과 0 사이에서 $-10$ 쪽에 0.8, 0 쪽에 0.2만큼 나눕니다 → $-10$: 0.16, 0: 0.04. $1$은 0 쪽에 0.9, 10 쪽에 0.1 → 0: 0.45, 10: 0.05. $10$은 그대로 10: 0.3.
• 목표 분포: $[-10: 0.16,\ 0: 0.49,\ 10: 0.35]$. 평균은 $-1.6 + 3.5 = 1.9$로, $1 + 0.9 \times 1$과 정확히 같습니다. 평균 정보는 유지하면서 퍼진 모양까지 함께 배웁니다.

3. 노이즈 넷: 신경망에 잡음을 넣어 탐색하기

직관: 매번 주사위를 굴려 무작위 행동을 하는 대신(ε-탐욕), "오늘은 이런 성향으로 가 보자"처럼 신경망 자체를 살짝 흔들어 일관된 탐색을 합니다. 그리고 확신이 생긴 곳에서는 흔들림을 스스로 줄입니다.

왜 이렇게 하나: 몬테주마의 복수처럼 첫 보상까지 많은 행동이 필요한 게임에서는 ε-탐욕의 한계가 뚜렷합니다. 노이즈 넷은 학습하면서 잡음 흐름을 무시하는 법을 배우되, 상태 공간의 부분마다 다른 속도로 그렇게 되어 상태에 따라 탐색량이 저절로 줄어듭니다. Rainbow는 독립 잡음 변수 수를 줄이려고 인수분해된 가우시안 잡음을 쓰고, 노이즈 넷을 쓸 때는 ε = 0(완전 탐욕)으로 행동합니다.

숫자로 해 보기(해설용, 1차원): $x = 2$, $W = 0.5$, $b = 0$, $W_{\text{noisy}} = 0.1$, $b_{\text{noisy}} = 0$이고 이번에 뽑힌 잡음이 $\epsilon^w = 1.5$라면 $y = 0.5 \times 2 + 0.1 \times 1.5 \times 2 = 1.3$입니다. 잡음이 없을 때의 1.0보다 커져 다른 행동이 골라질 수 있습니다. 학습이 $W_{\text{noisy}}$를 0으로 줄이면 탐색도 사라집니다.

4. 여섯 가지를 한 에이전트로 엮기

단계:

1. 다단계 + 분포: 1단계 분포 손실을 $n$단계로 바꿉니다. $S_{t+n}$의 분포를 누적 할인 $\gamma_t^{(n)}$만큼 줄이고 $n$단계 이득 $R_t^{(n)}$만큼 옮겨 목표 분포를 만듭니다: $d_t^{(n)} = (R_t^{(n)} + \gamma_t^{(n)} z,\ p_{\bar\theta}(S_{t+n}, a^*_{t+n}))$.
2. + Double Q-러닝: $S_{t+n}$의 부트스트랩 행동 $a^*_{t+n}$은 온라인 신경망으로 고르고, 그 행동의 분포는 목표 신경망으로 평가합니다.
3. + 우선순위 재생: 분포 설정에서는 TD 오차 대신 KL 손실 자체를 우선순위로 씁니다($p_t \propto (\text{KL})^\omega$). 알고리즘이 실제로 줄이는 양이기 때문이고, 이득이 결정론적이지 않아도 손실은 계속 줄 수 있어 잡음이 많은 확률적 환경에 더 견고할 수 있다고 봅니다.
4. + 듀얼링: 가치 흐름은 원자 수만큼, 어드밴티지 흐름은 원자 수 × 행동 수만큼 출력하고, 원자마다 듀얼링 방식으로 합친 뒤 소프트맥스로 분포를 만듭니다.
5. + 노이즈 넷: 모든 선형층을 노이즈 선형층으로 바꿉니다.

왜 이렇게 엮나: 각 기법이 서로 다른 부분(목표값 · 표본 추출 · 구조 · 탐색 · 출력 형태)을 고치기 때문에, 공통 틀 위에서 충돌 없이 겹칠 수 있다는 것이 출발 가설입니다. 엮을 때 바뀌는 곳(분포 손실의 다단계화, KL 우선순위, 분포용 듀얼링)만 새로 정했습니다.

5. 하이퍼파라미터(57개 게임 모두 동일)

전처리는 DQN과 같습니다(흑백 84×84, 4프레임 쌓기, 행동 4번 반복, 보상 $[-1, 1]$ 자르기, 목숨을 잃으면 종료로 처리, 에피소드 최대 108K 프레임). 각 기법의 원 논문 값에서 시작해, 가장 민감한 것만 손으로 하나씩 조정했습니다.

결과

평가: 57개 게임, 학습 중 100만 단계마다 50만 프레임 평가. 학습이 끝나면 가장 좋은 스냅숏을 no-op 시작(최대 30번)과 사람 시작점 두 방식으로 다시 평가했습니다. 점수는 무작위 0%, 사람 전문가 평균 100%로 정규화했고, 평균은 아틀란티스처럼 사람보다 수백 배 높은 몇 게임에 좌우되므로 중앙값을 주로 봅니다.

(논문 표 2를 요약한 표입니다. (*)는 해당 논문이 발표한 수치, DQN 수치는 듀얼링 논문에서 가져온 것, 나머지는 저자들이 직접 다시 돌린 결과입니다. PDF에서 표의 열 정렬이 깨져 있어 본문의 Rainbow 수치 223% · 153%에 맞춰 읽었습니다.)

• 데이터 효율: DQN의 최종 성능을 700만 프레임 만에 따라잡았고(GPU 1개로 10시간 미만), 4,400만 프레임 안에 모든 기준선의 최종 성능을 넘었습니다. 전체 학습 2억 프레임은 약 10일 걸렸습니다.
• 모든 수준에서 개선: 사람 대비 20% · 50% · 100% · 200% · 500%를 넘는 게임 수 모두에서 Rainbow가 앞섰습니다. 이미 잘하던 게임과 아직 사람과 먼 게임 모두에서 좋아졌다는 뜻입니다.

절제 실험(하나씩 빼 보기):

• 우선순위 재생과 다단계 학습은 거의 모든 게임에서 고르게 도움이 됐습니다(57개 중 53개 게임에서 전체 Rainbow가 두 절제판보다 나음).
• Double Q-러닝의 효과가 작았던 이유(저자들의 가설): 실제 할인 이득이 자주 10을 넘어 분포의 범위 $[-10, 10]$ 밖으로 나가 오히려 과소평가가 생겼고, 이 범위 제한이 과대평가를 상쇄했을 수 있습니다. 범위를 넓히면 Double Q-러닝이 더 중요해질 수 있다고 덧붙입니다.

왜 중요한가 · 이후 영향

• "부품 합치기"의 표준 실험 설계: 여러 개선을 공통 틀에 합치고 하나씩 빼서 기여를 재는 방식은 이후 강화학습 · 딥러닝 논문에서 흔한 형식이 됐습니다.
• 값 기반 강화학습의 기준선: 이산 행동 · 아타리류 문제에서 "Rainbow 대비 몇 %"가 오랫동안 비교 기준이 됐습니다.
• 실무 감각: "어떤 개선이 진짜 중요한가"에 대해 우선순위 재생과 다단계 학습이 핵심이고, 듀얼링 · Double Q-러닝은 이 조합 안에서는 효과가 작다는 구체적 근거를 줍니다. 구현 우선순위를 정할 때 참고가 됩니다.
• 열린 과제 제시: 정책 기반 방법(TRPO), 액터-크리틱(A3C), 다른 탐색 기법, 병렬 학습, 계층 강화학습은 다루지 않았다고 밝히며 후속 결합 연구 후보로 남겼습니다.

한계 · 주의할 점

• 절제 결과는 '이 조합 안에서'의 기여입니다. 듀얼링 · Double Q-러닝이 단독으로 쓸모없다는 뜻이 아닙니다. 분포 범위 같은 다른 부품의 설정에 따라 기여가 달라질 수 있습니다.
• 조정이 제한적입니다. 하이퍼파라미터 조합이 너무 많아 각 부품의 민감한 값만 손으로 조정했습니다. 더 잘 맞추면 결과가 달라질 수 있습니다.
• 계산 비용: 게임당 2억 프레임, 약 10일(GPU 1개)입니다. 벽시계 시간 효율은 병렬 방법과 비교하지 않았습니다.
• 비교 수치의 출처가 섞여 있습니다. 일부 기준선은 원 논문 수치, 일부는 저자들의 재실험입니다.
• 이산 행동 전용: 행동별 분포를 출력하는 구조라 연속 행동에는 그대로 쓸 수 없습니다.

이어서 읽을 것

• 앞(구성 요소): Double DQN · 우선순위 경험 재생 · 듀얼링 DQN · A3C (다단계 이득 사용)
• 기초: 딥 강화학습으로 사람 수준의 제어 (DQN, Nature 판) · 강화학습 입문 7장 $n$단계 부트스트래핑
• 다른 갈래: 신뢰 영역 정책 최적화 (TRPO) · 학습한 모델로 계획하기 (MuZero)

용어 정리

스스로 점검

1. Rainbow에서 우선순위의 기준이 TD 오차가 아니라 KL 손실인 이유는?

   분포를 예측하는 에이전트가 실제로 줄이는 양이 KL 손실이기 때문입니다. 또 이득이 확률적이어도 손실은 계속 줄 수 있어 잡음이 많은 환경에서 더 견고할 수 있다고 봤습니다.

2. 절제 실험에서 가장 중요했던 두 부품과 그 근거는?

   우선순위 재생과 다단계 학습입니다. 둘 중 하나만 빼도 중앙값이 크게 떨어졌고, 57개 중 53개 게임에서 전체 Rainbow가 두 절제판보다 나았습니다.

3. 분포 강화학습의 목표 분포는 어떻게 만드나?

   다음 상태(다단계면 $n$걸음 뒤)의 분포를 할인율만큼 0 쪽으로 줄이고 보상만큼 옮긴 뒤, 원래 원자 눈금에 사영해 만듭니다. 그 분포와 예측 분포의 KL 발산을 줄입니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 비동기 딥 강화학습 (A3C) — 경험 재생 대신 병렬 스레드로 상관을 끊은 비동기 액터-크리틱, CPU만으로 아타리 최고 기록

출처

• 원문: https://arxiv.org/abs/1710.02298 (2017 · Matteo Hessel 외)