확산 정책: 행동을 확산 모델로 생성하기

확산 정책: 행동을 확산 모델로 생성하기

이미지 생성에 쓰던 확산 모델로 로봇 행동을 만듭니다. 잡음을 여러 번 다듬어 "앞으로 몇 걸음의 행동 묶음"을 만들고 일부만 실행한 뒤 다시 만듭니다. 여러 갈래인 사람 시연을 평균 내지 않고 그대로 배워 기존 모방 학습 방법을 크게 앞섰습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 잡음 제거 확산 확률 모델 (DDPM) — 잡음을 더하는 과정을 거꾸로 되돌리며 '더해진 잡음 맞히기'로 학습해 고품질 이미지를 만든 확산 모델
• Hugging Face LeRobot: 로봇 학습 오픈소스 — 행동 복제 · 분포 이동 · 다봉 행동 · 행동 청킹 · 확산 정책과 LeRobot 학습 흐름을 익히는 모방 학습 수업
• 확산 모델 실전: 샘플링 · DDIM · 가이던스 · 잠재 확산 — 잡음 예측 · 샘플링 단계 · DDIM을 먼저 정리하면 확산 정책의 추론 과정이 쉽게 읽힙니다

한눈에 보기

• 로봇 정책을 "관측이 주어졌을 때 행동을 잡음에서 다듬어 내는 조건부 확산 과정"으로 쓰는 방법을 압니다.
• 같은 상황에서 왼쪽 · 오른쪽 둘 다 정답인 다봉 분포(multimodal) 를 회귀가 왜 망치고, 확산이 어떻게 다루는지 압니다.
• 행동을 한 걸음이 아니라 묶음(시퀀스)으로 예측하고 일부만 실행하는 후퇴 지평 제어의 효과를 압니다.
• 에너지 기반 정책(IBC)이 불안정한 이유와, 확산 정책이 정규화 상수 없이 학습되는 이유를 압니다.

초록 (번역)

이 논문은 로봇의 시각-운동 정책을 조건부 잡음 제거 확산 과정으로 표현해 로봇 행동을 생성하는 새로운 방법인 확산 정책(Diffusion Policy)을 소개합니다. 4개의 로봇 조작 벤치마크에서 가져온 12개의 서로 다른 과제로 확산 정책을 평가했으며, 기존 최고 수준의 로봇 학습 방법들을 평균 46.9% 개선하며 일관되게 앞선다는 것을 확인했습니다. 확산 정책은 행동 분포 점수 함수의 기울기를 학습하고, 추론할 때는 일련의 확률적 랑주뱅 동역학 단계를 통해 이 기울기 장을 따라 반복적으로 최적화합니다. 확산 정식화를 로봇 정책에 쓰면 다봉 행동 분포를 매끄럽게 다루고, 고차원 행동 공간에 알맞으며, 학습이 매우 안정적이라는 강력한 이점이 있음을 발견했습니다. 실제 물리 로봇에서 시각-운동 정책 학습에 확산 모델의 잠재력을 온전히 끌어내기 위해, 이 논문은 후퇴 지평 제어의 도입, 시각 조건화, 시계열 확산 트랜스포머를 포함한 핵심 기술 기여들을 제시합니다. 이 연구가 확산 모델의 강력한 생성 모델링 능력을 활용할 수 있는 새로운 세대의 정책 학습 기법을 이끌어 내는 계기가 되기를 바랍니다. 코드, 데이터, 학습 세부 사항은 diffusion-policy.cs.columbia.edu 에 공개되어 있습니다.

참고: arXiv 초록 페이지는 "12개 과제", 현재 PDF(v5)는 확장판 기준 "15개 과제"라고 씁니다. 번역은 arXiv 초록 페이지를 따랐습니다.

무엇을 풀었나

시연으로부터 정책을 배우는 행동 복제(behavior cloning)는 가장 단순하게는 "관측 → 행동" 회귀 문제입니다. 그런데 로봇 행동에는 다른 지도학습과 다른 성질이 있습니다.

• 다봉성: 같은 상황에서도 사람은 매번 다르게 움직입니다(왼쪽으로 돌아 밀기 · 오른쪽으로 돌아 밀기).
• 순차 상관: 행동은 시간 순으로 이어져야 자연스럽습니다.
• 높은 정밀도: 조금만 어긋나도 물체를 놓칩니다.

앞선 연구는 행동 표현을 바꿔 보았습니다. 가우시안 혼합(LSTM-GMM, 즉 robomimic의 BC-RNN), 행동을 구간으로 나눈 범주형 표현(BET), 또는 에너지 함수를 최소화하는 암시적 정책(IBC)입니다. 하지만 혼합 · 범주형은 하이퍼파라미터에 민감하고 모드 붕괴를 보이며, IBC는 학습이 불안정했습니다.

이 논문은 행동 자체를 생성 모델로 샘플링하는 대상으로 보고, 이미지 생성에서 검증된 확산 모델을 가져옵니다.

핵심 아이디어

1. 잡음에서 행동으로 — 잡음 제거 확산(DDPM)

한 문장 직관: 흐릿한 연필 스케치를 여러 번 지우개질하며 선을 또렷하게 다듬어 가는 것처럼, 무작위 잡음에서 시작해 조금씩 "그럴듯한 행동"으로 다듬습니다(해설용 비유).

단계별 설명

1. 가우시안 잡음에서 $\mathbf{x}^K$를 뽑습니다.
2. 잡음 예측 신경망 $\varepsilon_\theta$가 "지금 섞인 잡음"을 추정합니다.
3. 그만큼 빼고, 약간의 새 잡음을 더해 $\mathbf{x}^{K-1}$을 만듭니다.
4. 이를 $K$번 반복해 잡음 없는 출력 $\mathbf{x}^0$을 얻습니다. 논문은 한 단계를 "잡음 섞인 경사 하강 한 걸음"으로도 해석합니다(잡음 예측망 ≈ 기울기 장 $\nabla E$).

수식 (논문 식 1 · 2)

기호 풀이

학습 (논문 식 3)

데이터에서 깨끗한 예 $\mathbf{x}^0$을 뽑고, 단계 $k$와 그 단계에 맞는 잡음 $\varepsilon^k$를 무작위로 골라 더한 뒤, 신경망이 그 잡음을 맞히게 합니다.

숫자로 해 보기 (해설용 예 — 논문 수치 아님)

1차원 행동, 정답 행동이 $1.0$이라 합시다. 설명을 위해 $\alpha = 1$, $\gamma = 0.5$, 새 잡음은 0으로 두고, 신경망이 잡음을 $\hat{\varepsilon} = x - 1$로 정확히 추정한다고 가정합니다.

1. 시작 $x^3 = 2.0$ → $\hat{\varepsilon} = 1.0$ → $x^2 = 2.0 - 0.5 \times 1.0 = 1.5$
2. $\hat{\varepsilon} = 0.5$ → $x^1 = 1.5 - 0.25 = 1.25$
3. $\hat{\varepsilon} = 0.25$ → $x^0 = 1.25 - 0.125 = 1.125$

단계마다 정답과의 거리가 절반으로 줄어듭니다. 에너지 $E(x) = (x - 1)^2 / 2$에 학습률 0.5로 경사 하강하는 것과 똑같은 계산입니다. 식 1을 "경사 하강 한 걸음"으로 읽는 이유가 이것입니다.

2. 로봇 행동용으로 바꾸기 — 관측 조건화

한 문장 직관: 그림을 아무거나 그리는 게 아니라 "이 사진을 보고 다음 동작을 그려라"라는 주문서를 매 단계 옆에 두는 것입니다(해설용 비유).

단계별 설명

1. 출력 $\mathbf{x}$를 이미지 대신 로봇 행동 시퀀스 $\mathbf{A}_t$로 바꿉니다.
2. 잡음 제거 과정 전체를 관측 $\mathbf{O}_t$에 조건화합니다. 즉 결합 분포 $p(\mathbf{A}_t, \mathbf{O}_t)$가 아니라 조건부 분포 $p(\mathbf{A}_t \mid \mathbf{O}_t)$를 배웁니다.
3. 관측은 출력에 없으므로 미래 관측을 생성할 필요가 없고, 시각 특징은 반복 횟수와 상관없이 한 번만 뽑습니다. 그래서 계산이 크게 줄어 실시간 추론이 가능해집니다.

수식 (논문 식 4 · 5)

• $\mathbf{O}_t$: 시각 $t$까지 최근 $T_o$걸음의 관측(이미지 특징 + 로봇 자세)
• $\mathbf{A}_t^k$: 잡음 제거 $k$단계의 행동 시퀀스

왜 이렇게 했나

앞선 확산 계획 연구(Janner 외)는 상태와 행동을 함께 생성하는 결합 분포를 썼습니다. 이 논문은 관측을 조건으로만 두어 미래 상태 추론 비용을 없앴고, 생성 속도와 행동 정확도가 모두 좋아졌다고 보고합니다. 시각 인코더를 끝단 간(end-to-end)으로 함께 학습할 수 있게 된 것도 이 덕분입니다.

3. 행동을 묶음으로 예측하고 일부만 실행 — 후퇴 지평 제어

한 문장 직관: 운전할 때 앞 몇 초의 경로를 머릿속에 그리되, 실제로는 그중 앞부분만 가고 다시 그리는 것입니다(해설용 비유).

단계별 설명

1. 시각 $t$에서 최근 $T_o$걸음의 관측을 입력으로 받습니다(관측 지평).
2. 앞으로 $T_p$걸음의 행동을 한꺼번에 예측합니다(행동 예측 지평).
3. 그중 $T_a$걸음만 다시 계획하지 않고 실행합니다(행동 실행 지평).
4. 그다음 새 관측으로 다시 예측합니다. 이전 예측으로 다음 추론을 미리 데워 두는(warm-start) 후퇴 지평 제어(receding horizon control)로 매끄러움을 더 높일 수 있습니다.

이 설계가 푸는 문제 (논문 4.3절)

• 시간적 일관성: 한 걸음씩 따로 뽑으면, 연속된 행동이 서로 다른 모드(왼쪽 · 오른쪽)에서 나와 덜덜 떠는 행동이 됩니다. 묶음으로 뽑으면 한 번 정한 모드를 유지합니다.
• 멈춤 동작에 강함: 시연 중 사람이 잠시 멈추면 같은 위치 행동이 반복됩니다. 한 걸음 정책은 여기에 과적합해 멈춰 버리기 쉽습니다(BC-RNN · IBC가 실제 실험에서 그랬다고 보고).

숫자로 해 보기 (해설용 계산)

부록 표 7에서 Lift · Can 과제의 CNN 설정은 $T_o = 2$, $T_a = 8$, $T_p = 16$입니다.

• 한 번 추론으로 16걸음을 그리고 8걸음을 실행하므로, 실행 걸음 대비 추론 횟수는 $1/8$입니다. 한 걸음마다 추론하는 정책보다 추론을 8배 덜 부릅니다. 무거운 확산 추론을 실시간에 맞추는 데 이 점이 도움이 됩니다.

왜 이렇게 했나 — 지평의 균형

지평이 1보다 크면 일관성과 멈춤 대응이 좋아지지만, 너무 길면 반응이 느려집니다. 논문의 절제 실험(그림 5 왼쪽)은 이 상충을 확인했고, 시험한 대부분의 과제에서 행동 지평 8걸음이 가장 좋았습니다. 또 위치 제어 확산 정책은 지연(latency)이 최대 4걸음까지여도 최고 성능을 유지했습니다.

4. 다봉 분포를 그대로 표현하기

한 문장 직관: 길이 두 갈래일 때 "두 길의 평균" 쪽으로 가면 벽에 부딪힙니다. 확산 정책은 출발점의 무작위성에 따라 한 갈래를 골라 끝까지 갑니다(해설용 비유).

단계별 설명

1. 다봉성은 두 곳에서 생깁니다. 하나는 시작 표본 $\mathbf{A}_t^K$를 표준 가우시안에서 무작위로 뽑는 것, 다른 하나는 반복마다 더하는 확률적 잡음입니다.
2. 시작점에 따라 최종 행동이 서로 다른 "수렴 분지(basin)"로 가고, 반복 중 잡음 덕분에 분지 사이를 옮길 수도 있습니다.
3. 논문 그림 3의 Push-T 예에서, 확산 정책은 왼쪽 · 오른쪽 두 모드를 모두 배우고 한 번의 실행 안에서는 한 모드에 머뭅니다. LSTM-GMM과 IBC는 한쪽으로 치우쳤고, BET는 한 모드에 머물지 못했습니다.

숫자로 해 보기 (해설용 예 — 논문 수치 아님)

시연의 절반은 행동 $-1$(왼쪽), 절반은 $+1$(오른쪽)이라 합시다.

• 평균제곱오차 회귀: 최적 예측은 평균 $0$입니다. 블록 정면으로 돌진하는, 시연에 한 번도 없던 행동입니다.
• 확산식 다듬기: 에너지를 가까운 모드까지의 거리 제곱으로 두고 $\gamma = 0.25$로 다듬어 봅니다.
  • 시작 $x = 0.3$: 기울기 $2(0.3 - 1) = -1.4$ → $x = 0.3 + 0.35 = 0.65$ → 다음 $0.65 + 0.175 = 0.825$ → … $+1$로 갑니다.
  • 시작 $x = -0.4$: 기울기 $2(-0.4 + 1) = 1.2$ → $x = -0.4 - 0.3 = -0.7$ → … $-1$로 갑니다.

시작 잡음이 갈래를 고르고, 다듬기는 그 갈래 안으로 정확히 들어갑니다. 평균이라는 "없는 행동"은 나오지 않습니다.

5. 왜 학습이 안정적인가 — 정규화 상수를 피하는 점수 함수

한 문장 직관: 산 전체의 높이 지도를 다 그리지 않아도, 발밑의 경사만 알면 내려갈 수 있습니다(해설용 비유).

단계별 설명

1. IBC 같은 암시적 정책은 에너지 기반 모델(EBM)로 행동 분포를 씁니다. 확률을 구하려면 모든 행동에 대한 합인 정규화 상수 $Z$가 필요합니다.
2. $Z$는 계산할 수 없어서, 음성 표본(negative samples)으로 추정하는 InfoNCE식 손실을 씁니다. 이 추정이 부정확해 학습이 불안정합니다(논문 그림 6: 평가 성공률이 출렁임).
3. 확산 정책은 확률 대신 점수 함수(score function), 즉 로그 확률의 기울기를 배웁니다.
4. 로그를 행동으로 미분하면 $\log Z$는 행동과 무관해 사라집니다. 학습(식 5)에도 추론(식 4)에도 $Z$가 나오지 않습니다.

수식 (논문 식 6 · 8)

기호 풀이

• $E_\theta(\mathbf{o}, \mathbf{a})$: 관측 $\mathbf{o}$에서 행동 $\mathbf{a}$의 에너지(낮을수록 그럴듯함)
• $Z(\mathbf{o}, \theta)$: 모든 행동에 대한 $e^{-E}$의 합(적분). 계산 불가능
• $\nabla_{\mathbf{a}}$: 행동에 대한 기울기. $Z$는 행동에 의존하지 않으므로 그 기울기는 0

숫자로 해 보기 (해설용 예 — 논문 수치 아님)

행동이 세 개뿐이고 에너지가 $(0, 1, 2)$라 합시다.

• 정확한 $Z = e^0 + e^{-1} + e^{-2} \approx 1 + 0.368 + 0.135 = 1.503$
• 확률은 $(0.665,\ 0.245,\ 0.090)$입니다.
• 음성 표본을 하나만 뽑아 그게 마침 에너지 2짜리였다면 $Z$ 추정은 $1 + 0.135 = 1.135$, 에너지 0 행동의 확률을 $0.881$로 과대평가합니다. 표본에 따라 손실이 흔들리는 이유입니다.

반대로 연속 행동에서 $E(a) = (a - 1)^2$이면 $\nabla_a \log p = -2(a - 1)$이고, $a = 0$에서 값은 $2$입니다. $Z$를 몰라도 "오른쪽으로 가라"는 방향과 세기를 바로 압니다.

6. 신경망 구조 — CNN 기반과 시계열 확산 트랜스포머

한 문장 직관: 같은 "잡음 추정기" 자리에 부드러운 선을 잘 그리는 붓(CNN)과 급하게 꺾이는 선도 잘 그리는 펜(트랜스포머)을 바꿔 끼울 수 있습니다(해설용 비유).

CNN 기반

1. Janner 외의 1차원 시간 축 합성곱 U-Net을 고쳐 씁니다.
2. 관측 특징과 잡음 단계 $k$를 FiLM(Feature-wise Linear Modulation)으로 모든 합성곱 층에 채널별로 넣습니다.
3. 행동 궤적만 예측하고, 목표 상태를 채워 넣는 인페인팅 조건화는 후퇴 지평과 맞지 않아 뺐습니다.
4. 대부분의 과제에서 튜닝 없이 잘 됐지만, 속도 명령처럼 행동이 시간에 따라 급격히 바뀌면 약했습니다. 논문은 시간 합성곱이 저주파 신호를 선호하는 귀납 편향 때문으로 봅니다.

FiLM (설명용 일반형): $\mathbf{h}' = \boldsymbol{\gamma} \odot \mathbf{h} + \boldsymbol{\beta}$. 관측 · 단계에서 계산한 채널별 배율 $\boldsymbol{\gamma}$와 이동값 $\boldsymbol{\beta}$를 특징 $\mathbf{h}$에 겁니다(확산 계수 $\gamma$와 다른 기호). 해설용 예: $\mathbf{h} = (1, 2)$, $\boldsymbol{\gamma} = (2, 0.5)$, $\boldsymbol{\beta} = (0, 1)$이면 $\mathbf{h}' = (2, 2)$입니다.

시계열 확산 트랜스포머

1. minGPT 구조로, 잡음 섞인 행동 $\mathbf{A}_t^k$를 디코더 입력 토큰으로 넣고 확산 단계 $k$의 사인파 임베딩을 맨 앞 토큰으로 붙입니다.
2. 관측은 공유 MLP로 임베딩되어 각 블록의 교차 주의(cross-attention)로 들어가고, 행동 토큰은 자신과 이전 토큰만 봅니다(인과적 주의).
3. 상태 입력 실험의 최고 성능은 대부분 트랜스포머에서 나왔지만, 하이퍼파라미터에 더 민감했습니다.

왜 이렇게 했나: 논문은 새 과제에서 CNN 기반으로 시작하고, 복잡하거나 행동 변화가 빠를 때만 튜닝을 감수하고 트랜스포머를 쓰라고 권합니다.

7. 시각 인코더 · 잡음 일정 · 추론 속도

• 시각 인코더: 사전학습 없는 ResNet-18을 정책과 함께 끝단 간 학습하고, 카메라 시점마다 인코더를 따로 둡니다. 공간 정보를 지키려고 전역 평균 풀링을 공간 소프트맥스 풀링으로, 지수 이동 평균(EMA)과 함께 쓸 때 안정적이도록 배치 정규화를 그룹 정규화로 바꿨습니다.
• 잡음 일정: iDDPM의 제곱 코사인 일정이 가장 잘 맞았다고 보고합니다.
• 추론 가속: DDIM으로 추론 반복을 줄입니다. 본문(3.4절)은 실제 실험에서 학습 100회 · 추론 10회로 Nvidia 3080 GPU에서 0.1초 지연을 얻었다고 쓰고, 부록(A.4)은 실제 벤치마크의 추론 반복을 16회로 적습니다. 시뮬레이션은 학습 · 추론 모두 100회입니다.

왜 이렇게 했나 — 위치 제어

확산 정책은 위치 제어 행동 공간에서 속도 제어보다 일관되게 좋았습니다. 대부분의 행동 복제 연구가 속도 제어를 쓰는 것과 반대입니다. 논문은 두 이유를 추측합니다. 위치 제어에서 다봉성이 더 두드러지는데 확산 정책은 이를 잘 다루고, 위치 제어는 오차 누적에 덜 시달려 행동 시퀀스 예측에 더 알맞다는 것입니다.

처리 흐름

123456789flowchart LR
    A["최근 To걸음 관측<br/>카메라 이미지 + 로봇 자세"] --> B["시각 인코더 ResNet-18<br/>공간 소프트맥스 · 그룹 정규화"]
    B --> C["관측 특징 Ot<br/>한 번만 계산"]
    N["가우시안 잡음<br/>행동 시퀀스 At^K"] --> D["잡음 예측망 εθ<br/>CNN + FiLM 또는 트랜스포머"]
    C --> D
    D --> E["잡음 빼기 · K번 반복<br/>DDPM 또는 DDIM"]
    E --> F["Tp걸음 행동 시퀀스 At^0"]
    F --> G["앞 Ta걸음만 실행"]
    G -->|"새 관측으로 다시 예측"| A

결과

모든 수치는 논문이 보고한 값입니다. 성공률은 "(최고 체크포인트) / (마지막 10개 체크포인트 평균)" 형식이며, 학습 시드 3개 × 환경 초기 조건 50개 기준입니다. 단, 논문 각주에 따르면 평가 코드 버그로 robomimic 과제는 초기 조건 22개만 쓰였고, 모든 방법이 같은 조건이라 결론은 같다고 밝힙니다.

시뮬레이션 벤치마크 — 상태 입력 (논문 표 1, 일부 발췌)

(C = CNN 기반, T = 트랜스포머 기반, ph = 숙련자 시연, mh = 여러 사람 시연)

이미지 입력 (논문 표 2, 일부): 어려운 과제에서 차이가 컸습니다. 예를 들어 ToolHang(ph)은 LSTM-GMM 0.68/0.49, 확산 정책-C 0.95/0.73이고, Transport(mh)는 0.44/0.24 대 0.89/0.69입니다.

여러 단계 과제 (논문 표 4): 블록 두 개를 모두 넣은 빈도(BlockPush p2)는 BET 0.71, 확산 정책-T 0.94이고, 물체 4개 이상과 상호작용한 빈도(Kitchen p4)는 BET 0.44, 확산 정책-C 0.99였습니다. 논문은 이 긴 지평 다봉성에서 각각 32%, 213% 개선이라고 보고합니다. 시뮬레이션 전체 평균 개선은 46.9%입니다.

실제 로봇 Push-T (UR5, 논문 표 6)

• 실제 Push-T는 T 블록을 넣은 뒤 손끝을 끝 구역으로 옮겨야 하는 두 단계 과제이고, IoU는 마지막 걸음에서 잽니다. 정책은 10 Hz로 명령을 내고 125 Hz로 선형 보간해 실행합니다.
• 카메라를 3초간 가리거나 블록을 옮기는 교란에도 다시 계획해 복구했고, 그중 일부 행동은 시연에 없던 것입니다.

다른 실제 과제

왜 중요한가 · 이후 영향

• 로봇 모방 학습의 기본 정책 표현이 됐습니다. "행동 묶음을 생성 모델로 뽑고 일부만 실행"하는 틀은 이후 많은 조작 연구의 출발점입니다. 같은 시기 ALOHA의 ACT도 행동 묶음(chunk) 예측을 핵심으로 삼았습니다(이 논문 밖 내용).
• 실무 설계 지침을 남겼습니다. 위치 제어, 행동 지평, 끝단 간 시각 인코더 같은 선택을 실험으로 뒷받침했습니다.

한계 · 주의할 점

• 행동 복제의 한계를 그대로 물려받습니다. 시연 데이터가 부족하면 성능이 낮습니다. 논문은 최적이 아닌 데이터나 실패 데이터를 활용하려면 강화학습 등 다른 틀에 적용하는 것을 향후 과제로 듭니다.
• 계산 비용과 추론 지연이 큽니다. LSTM-GMM 같은 단순한 방법보다 무겁습니다. 행동 시퀀스 예측이 일부 완화하지만, 아주 높은 주기 제어가 필요한 과제에는 부족할 수 있습니다. 확산 가속법 적용이 향후 과제입니다.
• 수치 해석 주의. "최고 체크포인트"와 "마지막 10개 평균"은 다른 지표입니다. 과제 수(초록 12개 · 본문 15개)와 DDIM 추론 반복 수(본문 10회 · 부록 16회)도 원문 안에서 다르게 적혀 있습니다.

이어서 읽을 것

• 앞: DDPM — 확산 정책이 그대로 가져온 잡음 제거 확산 모델
• 앞: 트랜스포머 — 시계열 확산 트랜스포머의 바탕
• 옆: ALOHA/ACT — 같은 시기 행동 묶음 예측 + 저가 양팔 하드웨어
• 뒤: Mobile ALOHA — 양팔 + 이동 로봇으로 확장한 모방 학습
• 뒤: Octo — 여러 로봇 데이터로 학습한 범용 정책
• 뒤: π0 — 시각-언어 모델 위에 연속 행동 생성기를 붙인 범용 정책
• 옆: VoxPoser — 데이터 없이 언어 모델 + 계획으로 행동을 만드는 반대쪽 접근

용어 정리

스스로 점검

1. 시연이 왼쪽 · 오른쪽 두 갈래로 나뉠 때, 평균제곱오차 회귀 정책과 확산 정책은 각각 무엇을 내나요? 답: 회귀 정책은 두 갈래의 평균, 즉 시연에 없던 가운데 행동을 냅니다. 확산 정책은 시작 잡음에 따라 한 갈래를 골라 그 모드로 다듬은 행동을 내고, 행동 묶음 예측 덕분에 한 번의 실행 안에서는 그 갈래를 유지합니다.

2. IBC보다 확산 정책의 학습이 안정적인 이유는 무엇인가요? 답: IBC는 에너지 기반 확률을 쓰므로 계산할 수 없는 정규화 상수 $Z$를 음성 표본으로 추정해야 하고, 그 추정 오차가 학습을 흔듭니다. 확산 정책은 로그 확률의 기울기(점수)를 배우는데, $Z$는 행동과 무관해 미분하면 사라지므로 학습 · 추론 어디에도 $Z$가 필요 없습니다.

3. 행동 실행 지평 $T_a$를 너무 짧게 또는 너무 길게 하면 각각 어떤 문제가 생기나요? 답: 너무 짧으면(예: 1) 연속 행동이 서로 다른 모드에서 나와 떨리고, 시연의 멈춤 동작에 과적합하기 쉽습니다. 너무 길면 새 관측을 늦게 반영해 반응이 느려집니다. 논문은 시험한 대부분의 과제에서 8걸음이 가장 좋았다고 보고합니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 저가 하드웨어로 정밀한 양팔 조작 학습 (ALOHA · ACT) — 2만 달러 미만 양팔 로봇과 행동 묶음 모방 학습(ACT)으로 정밀 작업 80~90% 성공

출처

• 원문: https://arxiv.org/abs/2303.04137 (2023 · Cheng Chi 외)