Mobile ALOHA: 움직이며 양팔 조작 학습

Mobile ALOHA: 움직이며 양팔 조작 학습

양팔 원격조종 장치 ALOHA를 바퀴 달린 이동 받침대에 올리고, 조종자의 허리를 받침대에 묶어 '온몸'으로 조종하게 만든 3만 2천 달러짜리 시스템입니다. 이렇게 모은 작업당 50개 남짓한 시연에, 성격이 다른 기존 탁상용 ALOHA 데이터를 섞어 학습(공동 학습)하면 새우 볶기 · 엘리베이터 타기 같은 이동 조작 작업의 성공률이 크게 오른다는 것을 보였습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 저가 하드웨어로 정밀한 양팔 조작 학습 (ALOHA · ACT) — 2만 달러 미만 양팔 로봇과 행동 묶음 모방 학습(ACT)으로 정밀 작업 80~90% 성공

한눈에 보기

• 탁상 위 조작을 넘어 '돌아다니며 두 손을 쓰는' 이동 조작(mobile manipulation)을 모방 학습으로 하는 방법을 압니다.
• 사람이 양손을 다 쓰는 상황에서 이동 받침대까지 함께 조종하는 간단한 해법(허리 묶기)을 압니다.
• 팔 관절 14개와 받침대 속도 2개를 이은 16차원 행동으로 기존 모방 학습 알고리즘을 거의 그대로 쓰는 방법을 압니다.
• 작업도 로봇 배치도 다른 데이터를 섞어 배우는 공동 학습(co-training) 이 왜 도움이 되는지, 사전학습보다 왜 나았는지 압니다.

초록 (번역)

사람 시연으로부터의 모방 학습은 로봇공학에서 인상적인 성능을 보여 왔습니다. 그러나 대부분의 결과는 탁상 위 조작에 집중되어 있어, 일반적으로 쓸모 있는 작업에 필요한 이동성과 손재주가 부족합니다. 이 연구에서 저희는 양팔을 쓰고 온몸 제어가 필요한 이동 조작 작업을 모방하는 시스템을 개발합니다. 먼저 데이터 수집을 위한 저비용 온몸 원격조종 시스템인 Mobile ALOHA를 제시합니다. 이는 ALOHA 시스템에 이동 받침대와 온몸 원격조종 인터페이스를 더한 것입니다. 그다음 Mobile ALOHA로 모은 데이터로 지도학습 행동 복제를 하고, 기존의 고정형 ALOHA 데이터셋과 공동 학습하면 이동 조작 작업의 성능이 높아진다는 것을 발견했습니다. 작업마다 시연 50개로, 공동 학습은 성공률을 최대 90%까지 높일 수 있으며, 이로써 Mobile ALOHA는 새우 한 조각을 볶아 담아내기, 두 문짜리 벽 찬장을 열어 무거운 냄비 넣기, 엘리베이터를 불러 타기, 주방 수도꼭지로 쓴 팬을 가볍게 헹구기 같은 복잡한 이동 조작 작업을 스스로 해냅니다. 프로젝트 웹사이트: mobile-aloha.github.io

무엇을 풀었나

저자들은 양팔 이동 조작에 모방 학습이 퍼지지 못한 이유를 두 가지로 봅니다.

1. 쓸 만한 하드웨어가 없었습니다. PR2 · TIAGo 같은 양팔 이동 로봇은 20만 달러가 넘고, 원격조종에도 햅틱 장치 · 발 페달 · 모션 캡처 같은 추가 장비와 보정이 필요했습니다. 게임 패드나 키보드로 조종하는 로봇은 양팔 · 온몸 조종을 지원하지 않았습니다.
2. 학습 쪽 증거가 없었습니다. 트랜스포머 · 확산 모델 같은 표현력 높은 정책이 탁상 조작에선 잘 됐지만, 받침대 자유도가 더해지면 팔과 받침대 행동이 복잡하게 얽히고, 받침대가 조금만 틀어져도 손끝 위치가 크게 어긋납니다. 같은 비법이 통할지 불분명했습니다.

게다가 양팔 이동 조작 데이터셋은 거의 없었습니다. 그래서 '더 많고 모으기 쉬운' 탁상용 양팔 데이터를 빌려 쓸 수 있는지가 핵심 질문이 됩니다.

핵심 아이디어

123456flowchart LR
  A[조종자: 양손으로 리더 팔<br/>허리로 받침대 밀기] --> B[Mobile ALOHA 시연<br/>작업당 20~50개]
  C[고정형 ALOHA 데이터<br/>825개 에피소드] --> D[공동 학습: 배치마다 반반 섞기]
  B --> D
  D --> E[ACT · 확산 정책 · VINN]
  E --> F[16차원 행동: 팔 14 + 받침대 속도 2]

1. 온몸 원격조종: 허리를 받침대에 묶기

직관: 두 손은 이미 조종용 팔을 잡고 있으니, 몸 전체로 수레를 밀듯 받침대를 움직이게 합니다. 쇼핑 카트를 배로 밀며 양손으로 물건을 고르는 모습과 비슷합니다(해설용 비유).

단계: ① 기존 ALOHA의 네 팔(리더 2 · 팔로워 2)을 모두 앞을 보도록 이동 받침대(AgileX Tracer)에 올립니다. ② 조종자의 허리를 받침대에 묶고, 모터 힘을 뺀 바퀴를 몸으로 밀어 움직입니다. ③ 팔 관절 위치와 받침대의 선속도 · 각속도를 동시에 기록합니다. ④ 스스로 실행할 때는 나사 4개를 풀어 묶는 구조와 리더 팔을 떼어 냅니다.

왜 이렇게 했나: 두 문 찬장을 열 때 사람은 자연스럽게 한 발 물러섭니다. 팔과 받침대를 따로 조종하면 이런 협응을 못 담거나 데이터에 어색한 흔적이 남습니다. 몸을 직접 묶으면 장치가 단순하고, 로봇이 물체에 부딪힐 때 거친 촉각 피드백도 전해집니다. 비닐 바닥에서 굴림 저항은 약 13N으로, 대부분의 사람이 감당할 수 있는 수준이라고 보고합니다.

하드웨어 요약(논문 수치):

2. 16차원 행동으로 기존 알고리즘 그대로 쓰기

직관: 받침대를 '두 개의 관절이 더 달린 팔'처럼 취급합니다. 행동 벡터 끝에 숫자 두 칸을 붙이면 끝입니다.

왜 이렇게 했나: 행동 표현만 넓히면 ACT · 확산 정책 · VINN 같은 기존 모방 학습 방법을 구현 변경 없이 쓸 수 있습니다. 저자들은 단순히 이어 붙이기만 해도 성능이 좋다는 것을 관찰했습니다.

3. 공동 학습: 다른 데이터를 섞어 배우기

직관: 새 직장 업무(이동 조작)를 배울 때, 예전 직장에서 익힌 손기술(탁상 조작)도 계속 함께 연습하는 것입니다. 작업 내용은 달라도 "물건에 다가가 잡는 동작"이라는 몸의 감각은 통합니다.

단계: ① 고정형 ALOHA 데이터(825개 에피소드, 지퍼백 닫기 · 포크 집기 · 사탕 포장 등 Mobile ALOHA와 겹치지 않는 작업)를 준비합니다. ② 학습 배치를 만들 때 두 데이터에서 같은 확률(각 0.5)로 뽑습니다. ③ 고정형 데이터에는 받침대 행동이 없으니 $[0, 0]$으로 채웁니다. ④ 고정형 데이터의 정면 카메라는 빼서 둘 다 카메라 3대로 맞춥니다. ⑤ 행동 정규화는 Mobile ALOHA 데이터 통계로만 합니다.

왜 이렇게 했나: 고정형 데이터는 검은 탁자 위에서 두 팔이 마주 보게 놓고 모았고, Mobile ALOHA는 배경이 계속 바뀌며 두 팔이 나란히 앞을 봅니다. 그런데도 특별한 전처리 없이 섞었습니다. 저자들은 손목 카메라가 주는 시점 불변성 덕에 '잡고 다가가는 동작의 사전 지식'이 옮겨 간다고 추정합니다. 데이터가 20~50개뿐이라 표현력 높은 트랜스포머 정책이 과적합하기 쉬운데, 섞인 데이터가 이를 막아 준다는 해석도 덧붙입니다.

숫자로 해 보기(해설용 예): 배치 크기 16(논문 설정)에서 표본 확률이 반반이면, 평균적으로 8개는 이동 작업 데이터, 8개는 고정형 데이터입니다. 고정형 표본의 행동은 예를 들어 팔 14칸은 실제 값, 받침대 2칸은 $[0, 0]$으로 채워 16칸을 맞춥니다.

4. 쓴 알고리즘과 설정

• ACT: 학습률 2e-5, 배치 16, 인코더 4층 · 디코더 7층, 묶음 크기 45, $\beta$ 10, 사전학습된 ResNet18 백본(부록 표 6).
• 확산 정책(Diffusion Policy): 행동 예측을 여러 단계에 걸쳐 다듬는 방식. 추론을 빠르게 하려 DDIM 스케줄러를 쓰고 영상 증강을 했습니다.
• VINN + 묶음: BYOL로 배운 영상 표현으로 시연에서 가장 가까운 장면을 찾아 그 행동 묶음을 꺼내 씁니다.

결과

과제 7개: 와인 닦기, 새우 볶기, 팬 헹구기, 찬장 쓰기, 엘리베이터 부르고 타기, 의자 밀어 넣기, 하이파이브. 평가는 과제마다 20회(새우 볶기는 5회)입니다.

• 공동 학습은 7개 중 5개 과제에서 전체 성공률을 각각 45%, 20%, 80%, 95%, 80%만큼 올렸고, 나머지 2개는 비슷했습니다. 버튼 누르기 · 새우 뒤집기 · 수도꼭지 틀기처럼 정밀 조작이 병목인 하위 과제에서 특히 도움이 됐습니다.
• 의자 밀기에서 시연에 있던 처음 3개는 두 방식 모두 완벽했지만, 처음 보는 4번째 · 5번째 의자에서는 공동 학습이 각각 15%, 89% 더 높았습니다.
• 다른 알고리즘: 확산 정책도 공동 학습으로 와인 닦기 30%, 의자 밀기 20% 좋아졌고(표 2 본문에선 의자 밀기에서 확산 정책 · ACT 모두 공동 학습 시 100%라고 적었는데, 표 1의 ACT 80%와 수치가 달라 원문 확인이 필요합니다), VINN은 와인 닦기에서 5% 떨어지고 의자 밀기에서 20% 올라 결과가 엇갈렸습니다.
• 데이터 효율: 와인 닦기에서 공동 학습 + 시연 35개(70%)가 공동 학습 없이 시연 50개(50%)보다 나았습니다.
• 섞는 비율: 공동 학습 데이터 비율 30% · 50% · 70%에서 성공률 95% · 95% · 90%로 비슷해, 비율에 민감하지 않았습니다.
• 사전학습과 비교: 고정형 데이터로 1만 단계 먼저 학습한 뒤 미세조정하면 개선이 없었습니다. 저자들은 미세조정 중 앞서 배운 것을 잊었기 때문이라고 추정합니다.
• 사용자 연구(8명): 처음 보는 과제를 5번 해 보니 평균 완료 시간이 와인 닦기 46초 → 28초(39% 감소), 찬장 쓰기 75초 → 36초(52% 감소)로 줄었습니다.

왜 중요한가 · 이후 영향

• "다른 로봇 데이터도 도움이 된다"는 근거를 양팔 이동 조작에서 보였습니다. 작업 · 배치 · 배경이 모두 다른 데이터인데도 도움이 됐다는 점이, 여러 로봇 데이터를 모으는 Open X-Embodiment 같은 흐름과 맞닿아 있습니다(고정형 ALOHA 데이터도 RT-X 공개분을 통해 받았습니다).
• 저렴한 온몸 원격조종 장치를 공개했습니다. 요리 세 코스 만들기, 공용 화장실 청소, 빨래처럼 몇 시간씩 이어지는 조종도 가능하다고 보고합니다.
• 단순함의 힘: 새 알고리즘 없이, 행동 벡터를 넓히고 데이터를 섞는 것만으로 큰 효과를 냈습니다.

한계 · 주의할 점

• 하드웨어: 차지하는 면적 90cm × 135cm가 좁은 길에는 클 수 있고, 팔 높이가 고정이라 낮은 찬장 · 오븐 · 식기세척기에 닿기 어렵습니다.
• 학습: 과제마다 따로 학습하는 단일 과제 모방 학습이고, 스스로 탐험하거나 나아지지 못합니다.
• 데이터: 시연은 숙련된 조종자 2명이 모았습니다. 질 낮고 섞인 데이터에서의 학습은 앞으로의 과제로 남겼습니다.
• 새우 볶기처럼 75초짜리 긴 과제는 시연 20개로 40%에 그쳤습니다. 흰 탁자 위 흰 그릇처럼 대비가 낮은 인식도 어려웠습니다.

이어서 읽을 것

• 앞: ALOHA · ACT — 이 논문이 그대로 쓰는 하드웨어와 알고리즘
• 옆: Open X-Embodiment — 여러 로봇 데이터를 한데 모아 학습
• 뒤: Octo · OpenVLA · π0 — 여러 로봇에 두루 쓰는 범용 정책
• 휴머노이드로: GR00T N1

용어 정리

스스로 점검

1. 고정형 ALOHA 데이터에는 받침대 행동이 없는데 어떻게 함께 학습했나? — 받침대 행동 두 칸을 0으로 채워 16차원을 맞추고, 카메라 수도 3대로 맞춰 섞었습니다.
2. 공동 학습과 사전학습 중 어느 쪽이 나았고, 왜 그렇다고 보나? — 공동 학습이 나았습니다. 사전학습 후 미세조정은 앞서 배운 것을 잊어 개선이 없었다고 저자들은 추정합니다.
3. 공동 학습이 특히 도움이 된 하위 과제의 공통점은? — 버튼 누르기 · 새우 뒤집기 · 수도꼭지 틀기처럼 정밀 조작이 병목인 단계였습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X — 22종 로봇 · 100만+ 궤적 공개 데이터셋과, 다른 로봇 경험을 흡수하는 RT-X

출처

• 원문: arxiv.org/abs/2401.02117 (2024 · Zipeng Fu 외)