비동기 딥 강화학습 (A3C)

비동기 딥 강화학습 (A3C)

경험 재생 메모리 대신 여러 에이전트를 CPU 스레드에서 동시에 돌려 데이터의 상관을 끊은 논문입니다. 그중 '비동기 어드밴티지 액터-크리틱(A3C)'은 GPU 없이 CPU 16코어로 아타리 최고 기록을 넘었고, 이후 정책 기반 딥 강화학습의 기본형이 됐습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• OpenAI Spinning Up: 딥 강화학습 입문 — 로그 미분 트릭으로 정책 경사를 유도하고 reward-to-go · 기준값 · 액터-크리틱까지 손계산하는 수업
• 딥 강화학습으로 아타리 게임하기 (DQN) — 픽셀만 보고 아타리 게임을 배운 첫 딥 강화학습 모델 — Q-네트워크와 경험 재생
• 정책 최적화 실전: A2C · 신뢰 영역 · PPO 클리핑 · GAE 손계산 — A2C(동기식 A3C) · 엔트로피 보너스 · 어드밴티지를 손계산으로 먼저 익힙니다

한눈에 보기

• 왜 DQN은 경험 재생(experience replay)이 꼭 필요했고, 그것이 어떤 제약을 낳았는지 압니다.
• "여러 에이전트를 동시에 돌리면 데이터가 자연스럽게 섞인다"는 A3C의 핵심 발상을 이해합니다.
• 어드밴티지(advantage) · $n$단계 수익 · 엔트로피 정규화가 각각 왜 들어갔는지 수식과 손계산으로 확인합니다.
• 아타리 57게임 · TORCS · MuJoCo · Labyrinth에서 무엇을 보였는지, 스레드 수에 따른 속도 향상이 어땠는지 압니다.

초록 (번역)

이 논문은 비동기 경사 하강법으로 심층 신경망 제어기를 최적화하는, 개념적으로 단순하고 가벼운 딥 강화학습 틀을 제안합니다. 표준 강화학습 알고리즘 네 가지의 비동기 변형을 제시하고, 병렬로 도는 액터-러너(actor-learner)들이 학습을 안정시키는 효과가 있어 네 방법 모두 신경망 제어기를 성공적으로 학습할 수 있음을 보입니다. 가장 성능이 좋은 방법인 액터-크리틱의 비동기 변형은 GPU 대신 멀티코어 CPU 하나로, 절반의 학습 시간만에 아타리 분야의 기존 최고 성능을 넘어섭니다. 또한 비동기 액터-크리틱이 다양한 연속 운동 제어 문제와, 시각 입력만으로 무작위 3D 미로를 탐색하는 새로운 과제에서도 성공함을 보입니다.

무엇을 풀었나

딥러닝과 단순한 온라인 강화학습을 그냥 합치면 학습이 불안정하다고 여겨졌습니다. 이유는 두 가지입니다. 에이전트가 연속으로 겪는 데이터는 서로 강하게 상관되어 있고, 정책이 바뀌면서 데이터 분포도 계속 바뀝니다(비정상성). 같은 방 안의 비슷한 장면만 수천 번 연달아 보고 학습하면 신경망이 그 장면에만 맞춰져 버립니다.

DQN은 이것을 경험 재생으로 풀었습니다. 지난 경험을 메모리에 쌓아 두고 무작위로 뽑아 학습하면 상관이 끊깁니다. 하지만 논문은 두 가지 대가를 지적합니다.

1. 실제 상호작용 한 번당 메모리 · 계산이 더 듭니다.
2. 옛 정책이 만든 데이터로 학습해야 하므로 오프폴리시(off-policy) 알고리즘(Q-러닝 등)만 쓸 수 있습니다. Sarsa나 액터-크리틱 같은 온폴리시(on-policy) 방법은 쓰기 어렵습니다.

또 기존 방법은 GPU나 Gorila처럼 대규모 분산 구조(100개 액터-러너 프로세스와 30개 파라미터 서버, 총 130대)에 기댔습니다. 이 논문의 질문은 "메모리 없이, 한 대의 CPU로 안정적으로 학습할 수는 없을까?"였습니다.

핵심 아이디어

1234567flowchart LR
  G[(공유 파라미터 θ, θv)] -->|복사| W1[스레드 1: 환경 사본]
  G -->|복사| W2[스레드 2: 환경 사본]
  G -->|복사| W3[스레드 16: 환경 사본]
  W1 -->|t_max 걸음 굴린 뒤 기울기| G
  W2 -->|기울기| G
  W3 -->|기울기| G

1. 비동기 병렬 액터-러너

직관: 한 사람이 한 동네만 돌며 지도를 그리면 그 동네에 치우치지만, 16명이 서로 다른 동네를 돌며 한 지도에 동시에 그려 넣으면 지도가 고르게 채워집니다(해설용 비유).

단계:

1. 공유 파라미터를 하나 둡니다.
2. CPU 스레드마다 환경 사본을 하나씩 주고, 각자 공유 파라미터를 복사해 몇 걸음 행동합니다.
3. 그동안 쌓은 기울기를 공유 파라미터에 잠금 없이(Hogwild! 방식) 바로 반영합니다.
4. 스레드마다 탐색 정도(예: $\epsilon$-greedy의 $\epsilon$)를 다르게 줍니다.

왜 이렇게 했나: 어느 순간이든 스레드들은 서로 다른 상태를 겪고 있으므로, 한 번의 업데이트에 섞여 들어가는 데이터가 자연스럽게 다양해집니다. 경험 재생이 하던 '상관 끊기'를 병렬성이 대신하니 메모리가 필요 없고, 그래서 온폴리시 방법도 쓸 수 있습니다. 여러 기계 대신 한 기계의 여러 스레드를 쓰면 기울기 · 파라미터를 네트워크로 주고받는 통신 비용도 사라집니다.

논문은 이 틀에 네 알고리즘을 얹었습니다: 1단계 Sarsa, 1단계 Q-러닝, $n$단계 Q-러닝, 어드밴티지 액터-크리틱(A3C).

2. 1단계 Q-러닝의 손실과 그 한계

값 기반 방법은 $Q(s,a;\theta)$를 다음 손실로 학습합니다.

한계: 보상 $r$은 그 보상을 낳은 $(s,a)$ 한 쌍의 값만 직접 바꿉니다. 그 앞의 상태들까지 보상이 전해지려면 업데이트를 여러 번 거쳐야 해서 느립니다. 그래서 논문은 $n$단계 수익을 씁니다. $r_t + \gamma r_{t+1} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n \max_a Q(s_{t+n}, a)$ 처럼 여러 걸음의 실제 보상을 한꺼번에 반영하면, 보상 하나가 앞쪽 $n$개 상태에 바로 전해집니다.

3. 어드밴티지 액터-크리틱 (A3C)

직관: 배우(액터)는 연기를 하고, 평론가(크리틱)는 "그 장면이 평소보다 나았나 못했나"를 알려 줍니다. 배우는 평소보다 나았던 연기를 더 하게 됩니다(해설용 비유).

단계:

1. 하나의 신경망이 두 출력을 냅니다: 정책 $\pi(a_t \mid s_t; \theta)$(소프트맥스)와 가치 $V(s_t; \theta_v)$(선형 출력). 출력층 말고는 층을 공유합니다.
2. 각 스레드는 최대 $t_{\max}$걸음(또는 종료까지) 행동합니다.
3. 걸음마다 $n$단계 수익으로 어드밴티지를 추정합니다.
4. 정책은 어드밴티지가 큰 행동 쪽으로, 가치는 수익에 가까워지도록 고칩니다.

정책 업데이트 방향은 다음과 같습니다.

왜 어드밴티지인가: REINFORCE는 수익 $R_t$를 그대로 곱하는데, 이 값은 분산이 커서 학습이 흔들립니다. 수익에서 상태의 기준값(baseline) $V(s_t)$를 빼면 기울기의 기댓값은 그대로이면서 분산이 크게 줄어듭니다. $R_t$는 $Q(s_t, a_t)$의 추정, $V(s_t)$는 그 상태 평균의 추정이므로 둘의 차이가 바로 어드밴티지 $Q - V$의 추정입니다.

숫자로 해 보기(해설용 예): $\gamma = 0.9$, $k = 2$, 받은 보상 $r_t = 1$, $r_{t+1} = 0$, $V(s_{t+2}) = 5$, $V(s_t) = 4$라 하면

양수이므로 이번에 한 행동의 확률을 올립니다. 만약 $V(s_t)$가 6이었다면 $A = -0.95$가 되어 확률을 내립니다. 같은 보상이라도 "기대보다 좋았나"로 판단한다는 점이 핵심입니다.

4. 엔트로피 정규화

직관: 너무 일찍 "이 길만 정답"이라고 굳어 버리지 않도록, 선택지를 고르게 남겨 두는 쪽에 작은 상을 줍니다.

• $H$: 정책의 엔트로피(행동 확률이 고를수록 큼)
• $\beta$: 엔트로피 항의 세기. 논문의 아타리 · TORCS 실험은 $\beta = 0.01$을 썼습니다.

숫자로 해 보기(해설용 예): 행동이 2개일 때 확률이 $(0.5, 0.5)$면 $H = -2 \times 0.5 \ln 0.5 \approx 0.69$, $(0.99, 0.01)$이면 $H \approx 0.056$입니다. 엔트로피 항은 정책이 한쪽으로 쏠리기 직전에 브레이크를 걸어 탐색을 유지합니다.

왜 이렇게 했나: 결정론적 정책으로 너무 빨리 수렴하면 더 좋은 길을 영영 못 찾습니다. 논문은 이 항을 넣자 탐색이 좋아졌다고 보고합니다.

5. 공유 RMSProp

비동기 환경에서 RMSProp의 '기울기 제곱 이동 평균' $g$를 스레드마다 따로 둘지, 모두 공유할지 비교했습니다.

• $\alpha$: 감쇠율(논문은 0.99), $\eta$: 학습률, 연산은 원소별
• 아타리 일부 게임에서 $g$를 스레드끼리 공유하는 쪽이 모멘텀 SGD나 스레드별 RMSProp보다 학습률 · 초기화에 훨씬 덜 민감했습니다. 파라미터 사본도 하나 줄어 메모리도 아낍니다.

6. 실험 설정 (논문 기준)

• 액터-러너 스레드 16개, GPU 없음. 모든 방법이 5걸음마다 업데이트($t_{\max} = 5$).
• 할인율 $\gamma = 0.99$, RMSProp 감쇠 0.99. 값 기반 방법의 타깃 네트워크는 40,000프레임마다 갱신.
• 신경망: 8×8 필터 16개(보폭 4) 합성곱 → 4×4 필터 32개(보폭 2) 합성곱 → 은닉 256 완전연결.
• 값 기반 방법은 스레드마다 최종 $\epsilon$을 0.1 · 0.01 · 0.5 중 하나(확률 0.4 · 0.3 · 0.3)로 뽑아, 처음 400만 프레임 동안 1에서 줄였습니다.
• 학습률은 $\text{LogUniform}(10^{-4}, 10^{-2})$에서 뽑아 학습 동안 0까지 줄였습니다(기존 연구와 비교할 때는 고정 하이퍼파라미터).

결과

아타리 57게임 (사람 시작 평가, 사람 대비 정규화 점수)

• A3C는 CPU 16코어로 4일 학습해, GPU로 8~10일 학습한 기존 방법들보다 평균 점수가 높았습니다. 하루만 학습해도 Dueling Double DQN의 평균 점수에 맞먹었습니다.
• 다섯 게임 학습 속도 비교에서 비동기 방법들은 대체로 GPU의 DQN보다 빨리 배웠고, 그중 A3C가 값 기반 세 방법을 크게 앞섰습니다.

스레드 수에 따른 학습 속도 향상 (일곱 게임 평균, 1스레드 대비)

16스레드에서 모든 방법이 적어도 10배 넘게 빨라졌습니다. 1단계 방법들은 스레드 수보다 더 빨라지는 '초선형' 향상을 보였는데, 저자들은 여러 스레드가 1단계 방법의 편향을 줄여 데이터를 덜 쓰게 된 덕으로 봅니다.

그 밖의 과제

• TORCS 3D 자동차 경주: 화면 입력만으로, A3C가 네 가지 설정 모두에서 약 12시간 학습으로 사람 시험자 점수의 대략 75~90%에 이르렀습니다.
• MuJoCo 연속 제어: 값 기반 방법은 연속 행동으로 확장이 어려워 A3C만 평가했고, 물리 상태나 픽셀 입력 모두에서 24시간 안에, 보통 몇 시간 안에 좋은 해를 찾았습니다.
• Labyrinth 3D 미로: 매 에피소드 새 미로에서 사과(보상 1) · 포털(보상 10)을 찾는 과제입니다. 84×84 RGB 이미지만 입력으로 받는 A3C LSTM이 평균 점수 약 50을 얻었습니다.
• 안정성: 다섯 게임에서 학습률 · 초기화 50가지씩 돌려 보니 좋은 학습률 구간에서는 점수 0으로 무너지는 경우가 거의 없었습니다.

왜 중요한가 · 이후 영향

• 경험 재생 없이도 딥 강화학습이 안정적으로 될 수 있음을 보였습니다. 그 덕에 온폴리시 액터-크리틱이 딥러닝과 본격적으로 결합됐습니다.
• 액터-크리틱 + 어드밴티지 + 엔트로피 보너스라는 조합은 이후 정책 기반 방법의 기본 틀이 됐습니다. TRPO · GAE · PPO도 같은 '어드밴티지로 정책 기울기를 곱한다'는 구조 위에 있습니다.
• 값 출력과 정책 출력을 한 신경망에서 공유하는 설계는 PPO 구현과 LLM의 RLHF(정책 + 가치 헤드)에서도 흔히 보입니다.
• 비싼 GPU · 대규모 분산 없이도 연구할 수 있게 해 강화학습 연구의 문턱을 낮췄습니다.

한계 · 주의할 점

• 저자들도 경험 재생이 쓸모없다는 뜻은 아니라고 밝힙니다. 데이터를 다시 쓰지 않으므로 환경과의 상호작용이 비싼 분야(예: TORCS)에서는 데이터 효율이 떨어질 수 있습니다.
• 비동기 업데이트는 스레드가 조금 옛 파라미터로 계산한 기울기를 반영하므로, 실행할 때마다 결과가 달라지고 재현이 까다롭습니다.
• A3C의 속도 향상(16스레드에서 12.5배)은 1단계 방법보다 작았습니다. 스레드를 늘리는 이득이 방법마다 다릅니다.
• MuJoCo 결과는 물리 엔진의 접촉 모델이 바뀌어 기존 연구(DDPG 등)와 점수를 직접 비교할 수 없다고 논문이 밝힙니다.

이어서 읽을 것

• 앞: 딥 강화학습으로 아타리 게임하기 (DQN) — 경험 재생의 출발점
• 함께: 신뢰 영역 정책 최적화 (TRPO) · 일반화 어드밴티지 추정 (GAE)
• 뒤: 근접 정책 최적화 (PPO) — A3C 이후 가장 널리 쓰이는 액터-크리틱
• 비교: 연속 제어를 위한 딥 강화학습 (DDPG) — 경험 재생을 쓰는 오프폴리시 액터-크리틱

용어 정리

스스로 점검

1. A3C가 경험 재생 없이도 안정적인 이유는? — 여러 스레드가 서로 다른 상태를 동시에 겪으므로, 공유 파라미터에 들어가는 업데이트가 자연스럽게 섞여 상관이 줄어듭니다.
2. 정책 기울기에 수익 대신 어드밴티지를 곱하면 무엇이 좋은가? — 기울기의 기댓값은 유지하면서 분산이 줄어 학습이 덜 흔들립니다. "좋았나"를 절대값이 아니라 "기대보다 나았나"로 판단합니다.
3. 엔트로피 항의 $\beta$를 너무 크게 하면? — 정책이 계속 고르게 퍼져 있으려 해서 좋은 행동에 집중하지 못합니다. 논문은 아타리 · TORCS에서 0.01을 썼습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 신뢰 영역 정책 최적화 (TRPO) — 옛 정책과의 KL 발산을 δ 이하로 묶어 정책을 안전하게 개선하는 신뢰 영역 정책 최적화
• 일반화 어드밴티지 추정 (GAE) — TD 오차를 γλ로 할인해 더하는 어드밴티지 추정 — λ 하나로 편향과 분산을 조절

출처

• 원문: arxiv.org/abs/1602.01783 (2016 · Volodymyr Mnih 외)