Octo: 공개 범용 로봇 정책

Octo: 공개 범용 로봇 정책

여러 로봇의 시연 데이터 80만 개로 미리 학습한 트랜스포머 로봇 정책입니다. 언어 명령이나 목표 이미지로 일을 시킬 수 있고, 새 센서 · 새 행동 방식을 가진 로봇에도 일반 GPU로 몇 시간 미세조정하면 맞출 수 있습니다. 학습 코드 · 체크포인트 · 데이터 파이프라인을 모두 공개한 첫 범용 로봇 조작 정책입니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X — 22종 로봇 · 100만+ 궤적 공개 데이터셋과, 다른 로봇 경험을 흡수하는 RT-X
• 확산 정책: 행동을 확산 모델로 생성하기 — 로봇 행동 묶음을 확산 모델로 잡음에서 다듬어 만들어, 다봉 시연을 안정적으로 배우게 한 정책

한눈에 보기

• '범용 로봇 정책(generalist robot policy, GRP)'이 무엇이고, 왜 로봇마다 처음부터 학습하는 방식을 바꾸려 하는지 알게 됩니다.
• 카메라 · 언어 · 목표 이미지를 모두 '토큰'으로 바꿔 한 트랜스포머에 넣는 설계, 그리고 블록 단위 어텐션 마스크 덕분에 입력 · 출력을 나중에 갈아 끼울 수 있다는 점을 이해합니다.
• 행동을 하나씩이 아니라 덩어리(action chunk) 로, 그리고 확산(diffusion) 헤드로 뽑는 이유를 MSE · 이산화 방식과 비교해 설명할 수 있습니다.
• 9개 로봇 실험에서 얻은 수치(새 환경 미세조정 평균 성공률 72% 등)와, 손목 카메라 · 언어 지시 처리가 약한 한계를 압니다.

초록 (번역)

다양한 로봇 데이터셋으로 미리 학습한 대형 정책은 로봇 학습을 바꿀 잠재력이 있습니다. 새 정책을 처음부터 학습하는 대신, 이런 범용 로봇 정책은 해당 분야 데이터 조금만으로 미세조정해도 폭넓게 일반화할 수 있습니다. 하지만 다양한 로봇 학습 상황 · 환경 · 과제에 널리 쓰이려면, 이런 정책은 여러 센서와 행동 공간을 다루고, 흔히 쓰이는 여러 로봇 플랫폼을 수용하며, 새 분야에 쉽고 효율적으로 미세조정될 수 있어야 합니다. 이 연구에서 우리는 로봇 조작을 위한, 공개되고 널리 쓸 수 있는 범용 정책 개발의 기반을 마련하고자 합니다. 그 첫걸음으로, 지금까지 가장 큰 로봇 조작 데이터셋인 Open X-Embodiment 데이터셋의 궤적 80만 개로 학습한 대형 트랜스포머 기반 정책 Octo를 소개합니다. Octo는 언어 명령이나 목표 이미지로 지시할 수 있고, 새로운 감각 입력과 행동 공간을 가진 로봇 환경에 일반 소비자용 GPU로 몇 시간 안에 효과적으로 미세조정할 수 있습니다. 9개 로봇 플랫폼에 걸친 실험에서, Octo가 새 관측 · 행동 공간에 효과적으로 미세조정되는 다재다능한 정책 초기값이 됨을 보입니다. 또한 범용 로봇 모델을 만드는 향후 연구에 지침이 되도록, 구조부터 학습 데이터까지 Octo 모델의 설계 결정에 대한 자세한 제거 실험(ablation)을 수행합니다.

무엇을 풀었나

로봇 학습의 일반적인 방식은 그 로봇 · 그 과제 전용 데이터를 모아 정책을 처음부터 학습하는 것입니다. 과제마다 데이터 수집이 많이 들고, 얻은 정책은 좁게만 일반화됩니다.

여러 로봇의 데이터를 모아 한 모델로 학습하는 시도(GNM · RoboCat · RT-X 등)가 있었지만, 논문은 세 가지 한계를 짚습니다.

1. 입력이 고정됩니다. 예를 들어 카메라 한 대만 받도록 정해져 있어, 손목 카메라나 힘 센서를 더하기 어렵습니다.
2. 새 분야로 미세조정하는 방법이 마땅치 않습니다. 행동 공간(예: 끝점 제어 → 관절 제어)이 바뀌면 큰 부분을 다시 학습해야 합니다.
3. 가장 큰 모델은 공개되지 않았습니다.

Octo는 이 세 가지를 동시에 풀려는 시도입니다: 유연한 입출력, 쉬운 미세조정, 전부 공개.

핵심 아이디어

12345678flowchart LR
  A[언어 지시 · 목표 이미지] --> B[과제 토큰화: T5-base / CNN]
  C[카메라 영상 2프레임] --> D[관측 토큰화: 얕은 CNN + 16x16 패치]
  B --> E[Octo 트랜스포머: 블록 단위 마스크]
  D --> E
  E --> F[읽기 토큰 임베딩]
  F --> G[확산 행동 헤드: 20단계 잡음 제거]
  G --> H[행동 덩어리 출력 → 로봇 제어]

1. 모든 입력을 토큰으로: 과제 · 관측 토크나이저

직관: 통역사가 어떤 언어로 말하든 일단 공통 메모로 옮겨 적듯, 언어 · 이미지 · 센서를 모두 같은 형식의 '토큰'으로 바꿉니다.

단계:

1. 언어 지시는 미리 학습된 T5-base(1억 1,100만 파라미터) 언어 모델에 넣어 언어 임베딩 토큰 16개로 만듭니다.
2. 카메라 이미지(제3자 시점 · 손목)는 얕은 합성곱 층을 거친 뒤 16×16 패치로 잘라 펼칩니다. 제3자 카메라는 토큰 256개, 손목 카메라는 64개가 됩니다.
3. 목표 이미지도 같은 방식으로 토큰화합니다.
4. 각 토큰에 학습 가능한 위치 임베딩을 더하고 과제 토큰 → 시점별 관측 토큰 순서로 늘어놓습니다.

논문의 표기로 쓰면 다음과 같습니다.

왜 이렇게 했나: 기존 설계는 큰 ResNet으로 이미지를 먼저 요약하고 작은 트랜스포머로 합쳤습니다. Octo는 반대로 CNN은 아주 얕게, 계산 대부분은 트랜스포머에 둡니다('트랜스포머 우선' 구조). 논문은 이 구조가 큰 데이터 혼합에서 훨씬 잘 늘어난다고 보고합니다. 다만 데이터가 작을 때(시연 약 100개)는 ResNet 쪽이 더 낫다는 것도 함께 밝힙니다.

숫자로 해 보기(해설용 계산): 관측 이력 2프레임, 각 프레임에 제3자 카메라(256) + 손목 카메라(64)가 있으면 관측 토큰은 $2 \times (256 + 64) = 640$개입니다. 여기에 언어 토큰 16개를 더하면 과제 + 관측만으로 656개입니다. 패치를 32×32로 키우면 토큰 수가 4분의 1로 줄어 계산은 싸지지만, 논문은 16×16이 잡기 같은 정밀 과제에서 더 좋았다고 보고합니다.

2. 블록 단위 어텐션 마스크와 읽기 토큰

직관: 회의에서 '기록 담당'이 모든 발언을 듣고 요약만 하고 자기는 발언하지 않는 것처럼, 읽기 토큰은 다른 토큰을 보기만 하고 영향을 주지 않습니다.

단계:

1. 관측 토큰은 같은 시점이나 이전 시점의 관측 토큰과 과제 토큰만 볼 수 있습니다(인과적 마스크).
2. 데이터에 없는 입력(예: 언어 지시가 없는 데이터셋)에 해당하는 토큰은 통째로 가립니다.
3. 시점마다 학습 가능한 읽기 토큰 $T_{R,t}$를 끼워 넣습니다. 읽기 토큰은 앞의 관측 · 과제 토큰을 보지만, 어떤 관측 · 과제 토큰도 읽기 토큰을 보지 못합니다. BERT의 [CLS] 토큰처럼 지금까지의 관측을 요약하는 벡터가 됩니다.
4. 이 요약 벡터를 가벼운 행동 헤드에 넘깁니다.

마스크를 식으로 단순화하면(설명용), 토큰 $i$가 토큰 $j$를 볼 수 있는지 $M_{ij}$는

이고, 어텐션 점수에서 $M_{ij}=0$인 칸에 $-\infty$를 더해 가립니다.

왜 이렇게 했나: 미세조정 때 힘-토크 센서 같은 새 입력을 넣거나 관절 제어 같은 새 출력 헤드를 붙여도, 기존 토큰들은 새 토큰 때문에 바뀌지 않습니다. 그래서 사전학습 트랜스포머 가중치는 그대로 두고 새 위치 임베딩 · 가벼운 인코더 · 새 헤드만 더하면 됩니다. 입력 종류 · 순서를 고정하는 기존 구조는 이럴 때 모델 큰 부분을 다시 초기화해야 했습니다.

숫자로 해 보기(해설용 예): 시점 1의 관측 토큰은 과제 토큰과 시점 1 관측만 봅니다. 시점 2의 관측 토큰은 과제 + 시점 1 · 2 관측을 봅니다. 시점 2의 읽기 토큰은 이 모두를 보지만, 시점 2의 관측 토큰은 읽기 토큰을 보지 않습니다. 그래서 읽기 토큰을 빼거나 새 헤드용 읽기 토큰을 더해도 관측 토큰의 계산 결과는 그대로입니다.

3. 확산 행동 헤드와 행동 덩어리

직관: 화가가 흐린 밑그림에서 시작해 여러 번 덧칠하며 선명하게 만들듯, 무작위 잡음에서 출발해 여러 번 잡음을 걷어 내 행동을 만듭니다.

단계:

1. 트랜스포머는 행동 하나를 뽑을 때 한 번만 계산합니다. 나머지 잡음 제거 반복은 작은 확산 헤드(은닉 256의 3층 MLP, 잔차 연결 · 레이어 정규화) 안에서만 돕니다.
2. 가우스 잡음 $x^K$에서 시작해 $K$번 잡음을 걷어 냅니다. 논문은 20단계를 씁니다.
3. 결과는 행동 하나가 아니라 여러 연속 행동의 덩어리입니다.

학습은 표준 DDPM 목표입니다. 데이터의 행동에 가우스 잡음을 더하고, 신경망이 원래 행동을 되살리도록(잡음을 맞히도록) 학습합니다.

왜 이렇게 했나: 논문은 세 가지 행동 헤드를 비교합니다.

• MSE(평균 제곱 오차) 헤드: 여러 가능한 행동의 평균을 내 버려, 아주 느리게 움직이며 '얼버무리는(hedging)' 정책이 됐습니다. 예를 들어 그리퍼를 돌리지 못했습니다.
• 이산화 헤드(차원마다 256칸 + 교차 엔트로피): 더 과감하게 움직이지만 정밀도가 떨어져 잡기를 자주 놓쳤습니다.
• 확산 헤드: 여러 갈래의 행동 분포(왼쪽으로 돌아가도 되고 오른쪽으로 돌아가도 되는 상황)를 표현하면서도 연속값의 정밀도를 유지합니다.

숫자로 해 보기(해설용 1차원 예, 논문 수치 아님): $\alpha = 1$, $\gamma = 0.5$, 추가 잡음 0이라 하고, 지금 후보 $x^k = 0.8$, 신경망이 예측한 잡음 $\epsilon_\theta = 0.4$라면 $x^{k-1} = 0.8 - 0.5 \times 0.4 = 0.6$입니다. 이런 걸음을 20번 반복해 최종 행동에 다가갑니다. MSE 헤드라면 "왼쪽 −1, 오른쪽 +1" 두 정답의 평균인 0(가운데로 직진)을 내놓아 둘 다 틀리는 상황이 생기지만, 확산 헤드는 처음 잡음에 따라 −1 근처나 +1 근처 중 하나로 수렴할 수 있습니다.

행동 덩어리: 미래 행동 여러 개를 한 번에 예측하면 움직임이 더 일관됩니다. 양팔 로봇(ALOHA) 미세조정에서는 학습 때 64개 덩어리를 예측하고, 실행 때는 12개를 실행한 뒤 다시 계획하는(receding horizon) 방식이 가장 좋았다고 보고합니다.

4. 학습 데이터 혼합과 학습 설정

직관: 여러 학교의 기출 문제를 모아 공부하되, 너무 쉬운 반복 문제는 줄이고 다양한 문제는 더 자주 풉니다.

단계:

1. Open X-Embodiment에서 이미지가 없거나 '끝점 변화량(delta end-effector) 제어'를 쓰지 않는 데이터셋, 너무 반복적이거나 해상도가 낮거나 지나치게 특수한 데이터셋을 뺍니다. 남은 25개 데이터셋을 씁니다.
2. 다양한 데이터셋은 가중치를 두 배로, 반복이 많은 몇 개는 가중치를 낮춥니다.
3. 없는 카메라 채널은 0으로 채우고, 그리퍼 명령을 +1 = 열림, 0 = 닫힘으로 맞춥니다.
4. 미래 상태 하나를 골라 목표 이미지로 붙이는 사후 목표 재라벨링(hindsight goal relabeling)을 쓰고, 언어 지시나 목표 이미지를 무작위로 지워 둘 중 하나만으로도 동작하게 합니다.

왜 전체 모델을 미세조정하나: 사전학습 파라미터 일부를 얼리는 방법보다 전체를 갱신하는 쪽이 성능이 더 좋았다고 보고합니다.

결과

사전학습 환경에서 바로 쓰기(제로샷): 사전학습 데이터에 있던 로봇(WidowX · UR5 · RT-1 로봇)에서 언어 과제를 시켰을 때, Octo는 공개된 최고 범용 정책 RT-1-X(3,500만 파라미터)보다 평균 성공률이 29% 높았습니다. WidowX와 RT-1 로봇 과제에서는 550억 파라미터의 RT-2-X와 비슷했습니다. RT-1-X · RT-2-X는 35만 에피소드, Octo는 80만 에피소드로 학습했다는 차이도 있습니다. WidowX에서 목표 이미지로 지시하면 언어 지시보다 성공률이 25% 높았습니다.

새 분야 미세조정(표 I, 분야마다 시연 약 100개 · 20회 시도 평균):

버클리 삽입은 새 관측(힘-토크), 버클리 집기는 새 행동 공간(관절 위치 제어), 버클리 콜라 · 양팔은 새 로봇 형태입니다. 여섯 분야 평균으로 Octo가 다음으로 좋은 기준선보다 52% 앞섰습니다.

설계 제거 실험(표 II, WidowX, 40회 평균, Octo-Small 기준):

모델 크기: Octo-Tiny(1,000만) → Small(2,700만) → Base(9,300만)로 갈수록 UR5 · WidowX 제로샷 성능이 올랐습니다. Base는 초기 배치 변화에 더 강하고 너무 이른 잡기 시도가 적었습니다.

일반화 분석(표 VII, WidowX · Octo-Small): 학습 분포 안 과제 85%, 새 물체 80%, 새 환경 40%, 새 기술(컵 옆으로 눕히기 · 블록을 홈에 넣기) 5%였습니다.

왜 중요한가 · 이후 영향

• '로봇용 사전학습 모델'의 공개 기준점: 체크포인트뿐 아니라 데이터 로더 · 학습 · 미세조정 코드 전체를 공개해, 다른 연구실이 자기 로봇에 바로 붙여 볼 수 있게 했습니다.
• 입출력을 바꿀 수 있는 구조: 블록 마스크와 읽기 토큰은 "로봇마다 센서 · 행동이 다르다"는 로봇 분야 고유의 문제에 대한 깔끔한 해법입니다.
• 설계 지침: 큰 데이터 혼합 · 트랜스포머 우선 구조 · 표현력 있는 행동 헤드(확산)가 함께 있어야 성능이 난다는 제거 실험 결과는, 뒤이은 VLA 모델(OpenVLA · π0)을 읽을 때 비교 기준이 됩니다.

한계 · 주의할 점

• 손목 카메라를 잘 못 씁니다. 미세조정에서 제3자 카메라만 쓸 때가 둘을 함께 쓸 때보다 나은 경우가 많았습니다. 사전학습 데이터의 27%만 손목 카메라를 포함합니다.
• 언어 지시 성능이 목표 이미지보다 낮습니다. 사전학습 데이터의 56%만 언어 주석이 있습니다.
• 새 기술에는 약합니다. 본 적 없는 행동(뒤집기 · 정밀 삽입)은 제로샷 성공률이 크게 떨어집니다.
• 최적 시연만으로 모방 학습합니다. 실패가 섞인 데이터나 온라인 상호작용을 쓰려면 다른 목표가 필요합니다.
• 한 팔 · 두 팔 조작에서만 평가했습니다. 이동 · 이동 조작 로봇으로 넓히는 것은 앞으로의 과제입니다.
• 성공률은 과제당 10~20회 정도의 실제 로봇 시도 평균이라, 작은 차이는 시도 횟수에 따른 흔들림일 수 있습니다(해설자 주의).

이어서 읽을 것

• 데이터: Open X-Embodiment · RT-X
• 행동 덩어리의 시작: ALOHA · ACT · Mobile ALOHA
• 다음 단계(언어 모델 기반 VLA): OpenVLA · π0 · GR00T N1
• 바탕: 잡음 제거 확산 확률 모델 (DDPM) · 비전 트랜스포머

용어 정리

스스로 점검

1. Octo에 힘-토크 센서를 새로 붙일 때 사전학습 트랜스포머를 다시 초기화하지 않아도 되는 이유는?

   블록 단위 마스크 때문에 기존 토큰은 새 토큰을 보지 않습니다. 그래서 새 인코더 · 위치 임베딩만 더하고 전체를 미세조정하면 됩니다.

2. MSE 행동 헤드가 '얼버무리는' 정책을 만드는 이유는?

   여러 정답 행동의 평균을 맞히도록 학습되어, 갈래가 여럿인 상황에서 그 사이 어중간한 행동(느린 움직임)을 내기 때문입니다. 확산 헤드는 갈래 중 하나를 고를 수 있습니다.

3. Octo가 언어 지시보다 목표 이미지로 더 잘하는 이유로 논문이 드는 것은?

   목표 이미지가 과제를 이루는 방법에 대한 정보를 더 많이 주고, 사전학습 데이터의 56%만 언어 주석이 있기 때문입니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• OpenVLA: 공개 시각-언어-행동 모델 — 70억 VLM에 로봇 시연 97만 개를 학습한 공개 VLA — RT-2-X보다 16.5%p 높은 성공률

출처

• 원문: arxiv.org/abs/2405.12213 (2024 · Dibya Ghosh 외, Octo Model Team)