Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X

Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X

전 세계 연구실이 각자 모은 로봇 데이터 60개를 하나의 형식으로 합쳐 22종 로봇 · 100만 개 넘는 궤적의 공개 데이터셋을 만들고, 여기서 학습한 RT-1-X · RT-2-X가 '다른 로봇의 경험'에서 실제로 덕을 본다(양의 전이)는 것을 보인 논문입니다. 언어 · 비전처럼 로봇에도 '하나의 큰 사전학습 모델'이 가능한지 묻는 출발점입니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• RT-1: 실제 로봇 제어를 위한 로보틱스 트랜스포머 — 시연 13만 건으로 학습한 트랜스포머가 700여 개 지시를 97%로 수행하고 새 상황에도 일반화합니다
• RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델 — 행동을 숫자 토큰으로 바꿔 웹 사전학습 VLM이 로봇을 직접 제어하게 한 첫 VLA 모델입니다

한눈에 보기

• 로봇 학습이 왜 "로봇마다, 작업마다, 환경마다 모델 하나"였는지, 그리고 이를 바꾸려면 무엇이 필요한지 압니다.
• 모양도 카메라도 행동 방식도 다른 로봇 데이터를 7차원 손끝 행동 + 이미지 + 언어 지시라는 공통 틀로 거칠게 맞추는 방법을 압니다.
• 행동을 256칸으로 잘라 토큰처럼 다루면, 언어 모델이 로봇 행동을 '문장'처럼 낼 수 있다는 것(RT-2 방식)을 압니다.
• 작은 데이터 로봇은 섞어 배우면 이득을 보지만, 큰 데이터 로봇은 모델이 충분히 커야 이득이 난다는 결과를 압니다.

초록 (번역)

다양한 데이터셋으로 학습한 대용량 고성능 모델은 하위 응용 과제를 효율적으로 푸는 데 놀라운 성공을 보여 왔습니다. 자연어 처리부터 컴퓨터 비전까지 여러 분야에서 이는 사전학습 모델의 통합으로 이어져, 범용 사전학습 백본이 많은 응용의 출발점 역할을 하게 되었습니다. 로봇공학에서도 이런 통합이 일어날 수 있을까요? 지금까지 로봇 학습 방법은 응용마다, 로봇마다, 심지어 환경마다 별도의 모델을 학습해 왔습니다. 그 대신 새 로봇 · 작업 · 환경에 효율적으로 적응할 수 있는 범용 교차 로봇(X-robot) 정책을 학습할 수는 없을까요? 이 논문에서 저희는 로봇 조작 분야에서 이 가능성을 탐구할 수 있도록 표준화된 데이터 형식의 데이터셋과 모델을 제공하고, 효과적인 교차 로봇 정책의 예를 보여 주는 실험 결과를 함께 제시합니다. 저희는 21개 기관의 협업으로 모은 22종의 서로 다른 로봇 데이터를 모아, 527개 기술(160,266개 작업)을 담은 데이터셋을 구성했습니다. 이 데이터로 학습한 대용량 모델을 RT-X라 부르며, 이 모델이 양의 전이를 보이고 다른 플랫폼의 경험을 활용해 여러 로봇의 능력을 향상시킨다는 것을 보입니다. 자세한 내용은 프로젝트 웹사이트에서 볼 수 있습니다.

무엇을 풀었나

언어나 이미지 분야에서는 큰 사전학습 모델 하나를 가져와 조금 고쳐 쓰는 방식이 표준이 됐습니다. 로봇은 달랐습니다.

• 데이터가 흩어져 있었습니다. 연구실마다 로봇 모양, 카메라 위치, 행동 표현(위치냐 속도냐, 절대냐 상대냐)이 달라, 각자 모은 데이터를 각자 썼습니다.
• 로봇 하나의 데이터는 작습니다. 사람이 직접 시연을 모아야 해서, 인터넷 글 · 사진처럼 쌓이지 않습니다.
• 섞으면 해가 될 수도 있습니다. 모양이 다른 로봇의 데이터를 섞으면 서로 헷갈려 오히려 성능이 떨어질지 모릅니다.

이 논문의 질문은 "여러 로봇 데이터를 한 모델에 섞어 학습하면, 각 로봇이 혼자 배울 때보다 나아지는가(양의 전이)?"입니다. 이를 시험하려면 먼저 공통 형식의 큰 데이터셋이 필요했습니다.

핵심 아이디어

12345678flowchart LR
  A[60개 기존 로봇 데이터셋<br/>22종 로봇] --> B[RLDS 공통 형식으로 변환]
  B --> C[거친 정렬: 대표 카메라 1대<br/>7차원 손끝 행동 + 언어 지시]
  C --> D[행동 정규화 → 차원마다 256칸 토큰]
  D --> E1[RT-1-X: 35M 로봇 전용 트랜스포머]
  D --> E2[RT-2-X: VLM 기반, 행동을 텍스트 토큰으로]
  E1 --> F[각 로봇 속도 3~10Hz로 실행]
  E2 --> F

1. Open X-Embodiment 데이터셋: 흩어진 데이터를 한 형식으로

직관: 나라마다 전압 · 콘센트 모양이 다른 전자제품을, 변환 어댑터 하나로 모두 꽂을 수 있게 만드는 작업입니다(해설용 비유).

단계: ① 34개 연구실의 기존 데이터셋 60개를 모읍니다. ② 모두 RLDS 형식(직렬화한 tfrecord 파일)으로 바꿉니다. 이 형식은 카메라 수, 깊이 카메라, 포인트 클라우드 같은 다른 입력과 행동 공간을 그대로 담을 수 있습니다. ③ 주요 딥러닝 프레임워크에서 병렬로 불러올 수 있게 공개합니다.

규모(논문 수치): 22종 로봇(단일 팔 · 양팔 · 사족 보행 로봇 포함), 100만 개 넘는 실제 로봇 궤적, 527개 기술, 160,266개 작업. 장면 다양성은 Franka 로봇이, 궤적 수는 xArm과 Google Robot이 가장 많습니다. 기술은 대부분 '집어서 놓기' 계열이고, 긴 꼬리에 '닦기' · '조립하기' 같은 기술이 있습니다.

왜 이렇게 했나: 데이터를 억지로 하나의 표현으로 통일하면 원래 정보가 깎입니다. 저장은 원래 모습 그대로 하고, 학습할 때 필요한 만큼만 맞추는 편이 여러 연구에 두루 쓰기 좋습니다.

2. 거친 정렬: 7차원 손끝 행동

직관: 로봇마다 관절 수가 다르니 관절 대신 '손끝(그리퍼)을 어디로 얼마나 움직일지'라는 공통 언어로 말하게 합니다.

단계: ① 데이터셋마다 대표 카메라 한 대를 골라 같은 해상도로 줄입니다. ② 원래 행동을 7자유도 손끝 행동(x, y, z, 롤, 피치, 요, 그리퍼 열림, 또는 이들의 변화율)으로 바꿉니다. ③ 데이터셋마다 행동을 정규화한 뒤 이산화합니다. ④ 실행할 때는 로봇에 따라 다르게 되돌려(역정규화) 해석합니다.

왜 '거칠게'인가: 저자들은 좌표계도 맞추지 않고, 행동 값이 위치인지 속도인지도 각 로봇의 원래 방식대로 둡니다. 그래서 같은 행동 벡터가 로봇마다 전혀 다른 움직임을 낼 수 있습니다. 그래도 모델이 이미지로 '지금 어떤 로봇인지'를 알아채고 알맞게 해석하리라 기대하는 설계입니다. 정밀하게 맞추려면 로봇마다 큰 공수가 들기 때문입니다.

3. 행동을 토큰으로: RT-1-X와 RT-2-X

직관: 연속값인 행동을 눈금 256개짜리 자로 재어 '몇 번째 눈금'이라는 정수로 바꾸면, 단어를 고르듯 행동을 고를 수 있습니다.

단계: ① 행동을 8개 차원(에피소드 종료 1개 + 손끝 움직임 7개)으로 두고, 차원마다 고르게 나눈 256칸 중 하나로 바꿉니다. ② 모델은 이미지와 언어 지시를 받아 각 차원의 칸 번호를 예측합니다. ③ 학습은 일반적인 범주형 교차 엔트로피로 합니다.

(식은 '차원별 범주형 교차 엔트로피'라는 본문 설명을 해설용으로 옮겨 쓴 것입니다.)

두 모델:

왜 이렇게 했나: 행동을 텍스트로 쓰면 이미 인터넷 규모로 학습한 VLM을 그대로 가져와 로봇 제어에 쓸 수 있고, VLM의 일반화 능력도 일부 넘겨받습니다.

숫자로 해 보기(해설용 예, 논문 값 아님): 정규화한 $x$ 속도의 범위가 $[-1, 1]$이고 값이 $0.3$이라 합시다. 256칸으로 고르게 나누면 칸 너비는 $2/256 \approx 0.0078$이고, 칸 번호는 $\lfloor (0.3 + 1) / 2 \times 256 \rfloor = \lfloor 166.4 \rfloor = 166$입니다. 모델은 이 차원에 대해 "166"이라는 토큰을 고르도록 배웁니다.

4. 실험에 쓴 데이터 혼합

실험 당시의 로봇 데이터 혼합은 9종 조작 로봇의 데이터(RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table)였습니다. 데이터셋은 그 뒤로도 계속 늘어 22종이 되었기 때문에, 실험에 쓴 로봇 수(9종)가 전체(22종)보다 적다고 저자들이 밝힙니다. 실행 때 각 모델은 로봇이 요구하는 속도(3~10Hz)로 돌고, RT-1은 로컬에서, RT-2는 클라우드에서 네트워크로 호출합니다.

결과

평가는 6종 로봇에서 모두 3,600번 시도했습니다.

작은 데이터 로봇(그림 4): Kitchen Manipulation · Cable Routing · NYU Door Opening · AUTOLab UR5 · Robot Play 5개 영역에서, RT-1-X가 원래 방법(각 데이터 제작자의 모델)을 5개 중 4개에서 이겼고, 평균 성공률은 원래 방법이나 RT-1보다 50% 높았습니다. RT-1과 RT-1-X는 구조가 같으므로 차이는 데이터 혼합에서 온 것입니다.

큰 데이터 로봇(표 I):

큰 데이터 영역에서 RT-1-X는 오히려 떨어져 '용량 부족(과소적합)'을 보였고, 훨씬 큰 RT-2-X만 이득을 냈습니다.

새 기술 · 일반화(표 II, Google Robot 평가):

• 다른 로봇(WidowX) 데이터에만 있던 기술을 Google Robot이 해내는 비율이 RT-2보다 약 3배 높았고(행 1 vs 2), Bridge를 빼면 크게 떨어졌습니다(행 3). 다른 로봇의 경험이 새 기술로 옮겨 왔다는 증거입니다.
• 처음 보는 물체 · 배경에 대한 일반화는 RT-2와 비슷했습니다. 이미 VLM 백본 덕에 잘하던 부분이라 예상된 결과라고 저자들은 말합니다.
• 짧은 이미지 기록(행 4 vs 5), 웹 사전학습(행 4 vs 6), 큰 모델(행 2 vs 4)이 모두 중요했습니다. 공동 미세조정과 미세조정은 비슷했는데(행 4 vs 7), 이전 RT-2 결과와 달리 로봇 데이터가 훨씬 다양해졌기 때문이라고 해석합니다.

왜 중요한가 · 이후 영향

• 로봇 학습의 '공용 데이터'가 생겼습니다. 이후 범용 로봇 정책들이 이 데이터셋을 사전학습에 씁니다. Octo와 OpenVLA가 대표적이고, Mobile ALOHA도 고정형 ALOHA 데이터를 RT-X 공개분으로 받았습니다.
• '섞으면 좋아진다'를 실험으로 보였습니다. 특히 데이터가 적은 로봇일수록 이득이 컸습니다.
• 모델 크기의 중요성: 다양한 로봇 데이터를 흡수하려면 용량이 충분해야 한다는 점이 드러났습니다. 언어 모델의 스케일링 이야기와 같은 방향입니다(해설자의 연결).
• 행동 = 토큰 접근을 공개 생태계로 넓혔습니다. RT-1-X 모델과 예제 코드를 함께 공개했습니다.

한계 · 주의할 점

• 정렬이 거칩니다. 좌표계 · 행동 의미를 맞추지 않아 같은 숫자가 로봇마다 다른 움직임이 됩니다. 정밀 제어엔 불리할 수 있습니다.
• 실험 범위가 좁습니다. 센서 · 구동 방식이 크게 다른 로봇은 다루지 않았고, 처음 보는 로봇으로의 일반화도 시험하지 않았으며, 언제 양의 전이가 일어나는지 판단 기준도 제시하지 못했다고 저자들이 밝힙니다.
• 실험 데이터와 공개 데이터가 다릅니다. 실험은 9종 로봇 혼합, 공개 데이터셋은 22종입니다.
• RT-2-X(55B)는 공개 모델이 아닙니다. 공개된 것은 RT-1-X이고, 큰 모델은 클라우드에서 돌렸습니다.
• 데이터의 기술 분포가 '집어서 놓기'에 몰려 있어, 긴 꼬리 기술의 학습 신호는 적습니다.

이어서 읽을 것

• 앞: ALOHA · ACT · Mobile ALOHA — 한 로봇의 데이터를 잘 모으고 배우기
• 뒤: Octo — 이 데이터로 학습한 공개 범용 정책
• 뒤: OpenVLA — 공개 VLM 위에 같은 '행동 토큰' 방식을 올린 모델
• 뒤: π0 · GR00T N1 — 행동을 토큰 대신 연속값으로 내는 다음 세대
• 바탕: 트랜스포머 · CLIP · 비전 트랜스포머

용어 정리

스스로 점검

1. RT-1-X가 작은 데이터 로봇에선 이기고 큰 데이터 로봇에선 진 이유는? — 작은 데이터 로봇은 다른 로봇 데이터에서 얻을 게 많았지만, 큰 데이터 영역에선 3,500만 파라미터 모델의 용량이 모자라 과소적합했기 때문입니다. 더 큰 RT-2-X는 그 영역에서도 이득을 냈습니다.
2. 다른 로봇의 경험이 옮겨 왔다는 증거는 무엇인가? — Bridge(WidowX)에만 있던 기술을 Google Robot이 해내는 비율이 27.3%에서 75.8%로 올랐고, Bridge를 빼면 42.8%로 떨어졌습니다.
3. 행동을 256칸 토큰으로 바꾸면 무엇이 좋아지나? — 언어 모델이 단어를 고르듯 행동을 고를 수 있어, 웹으로 사전학습한 VLM을 그대로 로봇 제어에 쓸 수 있습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• Octo: 공개 범용 로봇 정책 — 로봇 시연 80만 개로 학습한 공개 트랜스포머 정책 — 새 센서 · 행동에도 쉽게 미세조정

출처

• 원문: https://arxiv.org/abs/2310.08864 (2023 · Open X-Embodiment Collaboration)