RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델

RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델

로봇 행동을 "1 128 91 241 …" 같은 숫자 토큰 문자열로 바꿔, 웹 데이터로 사전학습한 거대 시각-언어 모델이 질문에 답하듯 행동을 출력하게 만든 논문입니다. 웹 데이터와 로봇 데이터를 함께 미세조정(co-fine-tuning)하자, 로봇 데이터에 없던 숫자 · 아이콘 · 유명인을 알아보고 행동하는 능력이 생겼고, 처음 보는 상황에서 RT-1보다 약 2배 잘 일반화했습니다. "시각-언어-행동(VLA) 모델"이라는 이름이 여기서 나왔습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• PaLM-E: 몸을 가진 멀티모달 언어 모델 — 이미지 · 센서 입력을 단어처럼 LLM에 끼워 넣어 로봇 계획과 시각-언어 과제를 함께 푸는 모델
• 자연어 감독으로 시각 모델 학습하기 (CLIP) — 이미지-글 쌍 4억 개로 짝 맞히기 대조 학습을 해 글만으로 이미지 분류기를 만드는 CLIP

한눈에 보기

• 시각-언어 모델(VLM)을 로봇 정책으로 바꾸는 가장 단순한 방법, 행동을 텍스트 토큰으로 표현하기를 압니다.
• 행동 하나가 정수 8개 문자열이 되는 과정과, 모델마다 숫자 토큰을 어떻게 고르는지(PaLI-X 대 PaLM-E) 압니다.
• 로봇 데이터만으로 미세조정할 때보다 웹 데이터와 함께 미세조정할 때 일반화가 좋은 이유를 압니다.
• 로봇 데이터에 없는 개념(숫자, 로고, 사람)을 이해해 행동하는 "창발 능력"을 어떻게 측정했는지 압니다.
• 550억 파라미터 모델을 로봇에서 1~3Hz로 돌린 방법과, 여전히 남은 한계(새 동작은 못 배움)를 압니다.

초록 (번역)

우리는 인터넷 규모 데이터로 학습한 시각-언어 모델을 끝에서 끝까지 로봇 제어에 직접 통합해 일반화를 높이고 창발적인 의미 추론을 가능하게 하는 방법을 연구합니다. 우리의 목표는 하나의 끝에서 끝까지 학습된 모델이 로봇 관측을 행동으로 대응시키는 법을 배우는 동시에, 웹의 언어 데이터와 시각-언어 데이터로 한 대규모 사전학습의 이점도 누리게 하는 것입니다. 이를 위해 우리는 최신 시각-언어 모델을 로봇 궤적 데이터와 시각 질의응답 같은 인터넷 규모 시각-언어 과제 양쪽에 대해 함께 미세조정(co-fine-tune)할 것을 제안합니다. 다른 접근과 달리, 우리는 이 목표를 이루는 단순하고 일반적인 방법을 제안합니다. 자연어 응답과 로봇 행동을 같은 형식에 담기 위해, 행동을 텍스트 토큰으로 표현하고 자연어 토큰과 똑같은 방식으로 모델의 학습 세트에 직접 넣는 것입니다. 우리는 이런 부류의 모델을 시각-언어-행동 모델(VLA)이라 부르고, 그 한 예로 RT-2라는 모델을 구현합니다. 광범위한 평가(평가 시도 6천 회)는 우리 방법이 성능 좋은 로봇 정책을 만들고, RT-2가 인터넷 규모 학습으로부터 다양한 창발 능력을 얻게 해 준다는 것을 보여 줍니다. 여기에는 새로운 물체에 대한 크게 향상된 일반화, 로봇 학습 데이터에 없는 명령(예: 물체를 특정 숫자나 아이콘 위에 놓기)을 해석하는 능력, 사용자 명령에 대해 초보적인 추론(예: 가장 작거나 가장 큰 물체, 또는 다른 물체에 가장 가까운 물체 집기)을 하는 능력이 포함됩니다. 나아가 생각의 사슬 추론을 결합하면 RT-2가 여러 단계의 의미 추론을 할 수 있음을 보입니다. 예를 들어 즉석 망치로 쓰려면 어떤 물체를 집어야 하는지(돌), 또는 피곤한 사람에게 어떤 음료가 가장 알맞은지(에너지 음료)를 알아냅니다.

무엇을 풀었나

웹 규모로 사전학습한 대형 모델은 유창한 글쓰기, 문제 풀이, 개방 어휘 시각 인식, 이미지 속 상호작용 추론까지 해냅니다. 이런 의미 추론 · 시각 해석 능력은 현실의 다양한 과제를 해야 하는 범용 로봇에 아주 쓸모 있습니다.

문제는 이 능력을 로봇 제어로 어떻게 옮기느냐입니다. 이전 시도들은 크게 세 갈래였습니다.

• 상위 계획자로만 쓰기: SayCan · PaLM-E는 LLM · VLM이 "다음에 할 일"을 텍스트로 내고, 실제 동작은 RT-1 같은 별도 저수준 정책이 맡습니다. 저수준 정책은 웹 지식의 혜택을 받지 못합니다.
• 사전학습 표현만 빌리기: VC-1 · R3M처럼 사전학습한 시각 표현을 정책의 인코더로 씁니다. 언어 · 의미 지식은 충분히 옮겨지지 않습니다.
• 구조를 새로 짜기: CLIPort · MOO처럼 VLM을 정책에 넣되 2차원 행동 공간 · 보정된 카메라 같은 강한 구조를 붙이거나, Gato처럼 새 구조를 처음부터 학습합니다.

RT-2는 질문을 바꿉니다. 이미 막대한 계산이 들어간 VLM을, 새 파라미터 하나 없이, 그대로 행동을 출력하게 학습시킬 수 없을까?

핵심 아이디어

1. 행동을 "또 하나의 언어"로 — 정수 8개 문자열

한 문장 직관: 로봇 팔 움직임을 "1 128 91 241 5 101 127"처럼 숫자로 받아 적는 받아쓰기로 바꾸면, 언어 모델은 문장을 쓰듯 행동을 씁니다(해설용 비유).

단계별 설명

1. 행동 공간은 RT-1을 따릅니다. 로봇 끝단의 6자유도 위치 · 회전 변위, 그리퍼 벌림 정도, 그리고 에피소드를 끝내는 이산 명령입니다.
2. 종료 명령을 뺀 연속 차원을 256칸으로 균일하게 나눕니다. 그러면 행동 하나가 정수 8개로 표현됩니다.
3. 정수들을 공백으로 이어 하나의 문자열로 만듭니다. 형식은 terminate pos pos pos rot rot rot gripper_extension입니다. 논문의 예: "1 128 91 241 5 101 127".
4. 입력은 로봇 카메라 이미지와 VQA 형식의 질문입니다. Q: what action should the robot take to [task instruction]? A:
5. 정답(출력)은 위의 숫자 문자열입니다. 이로써 로봇 시연 데이터가 "이미지 + 질문 → 답" 형태의 VQA 데이터와 똑같은 모양이 됩니다.

수식 (해설용 — RT-1식 균일 구간 나누기를 차원 $d$에 대해 쓴 것)

기호 풀이

숫자로 해 보기 (해설용 예 — 범위는 가정, 논문 수치 아님)

x 변위 범위가 $[-0.1, 0.1]$m라 하고, 모델이 x 자리에 "128"을 냈다고 합시다.

1. 칸 너비 $= 0.2 / 256 \approx 0.00078$m
2. 칸 128의 구간은 $-0.1 + 128 \times 0.00078 \approx 0.0000$m부터 한 칸 너비만큼입니다. 즉 x 방향으로는 거의 움직이지 않음입니다.
3. 반대로 "241"이 나왔다면 $-0.1 + 241 \times 0.00078 \approx 0.088$m로 범위 끝 근처, 크게 움직이라는 뜻입니다.

256칸의 가운데(128 근처)가 "변위 0"에 가깝다는 점을 기억하면, 논문 그림 7의 행동 문자열(1 128 126 127 135 …)이 대부분 128 근처인 이유를 짐작할 수 있습니다(해설용 해석).

왜 이렇게 했나

행동을 텍스트로 표현하면 모델 구조를 하나도 바꾸지 않습니다. 행동 전용 층을 붙이지 않으므로 언어 과제와 행동 과제가 모든 가중치를 공유합니다. 덕분에 웹에서 배운 의미 지식이 행동 출력으로 그대로 흘러갈 길이 생깁니다. 논문은 이것을 CLIPort · MOO처럼 행동 전용 구조를 두는 방식과의 결정적 차이로 꼽습니다.

2. 어떤 토큰을 행동 숫자로 쓸까 — PaLI-X 대 PaLM-E

한 문장 직관: 어떤 사전에는 숫자 단어가 이미 있고, 어떤 사전에는 없어서 잘 안 쓰는 단어 256개를 숫자 뜻으로 바꿔 쓰는 것입니다(해설용 비유).

단계별 설명

1. 행동 칸 256개마다 대응할 토큰 256개가 필요합니다.
2. PaLI-X: 1000까지의 정수가 각각 고유한 토큰입니다. 칸 번호를 그 정수 토큰에 그대로 대응시킵니다.
3. PaLM-E: 숫자를 이렇게 편하게 표현하는 토큰이 없습니다. 그래서 가장 드물게 쓰이는 토큰 256개를 덮어써서 행동 어휘로 씁니다.
4. 논문은 기존 토큰을 행동 토큰으로 덮어쓰는 것이 일종의 기호 튜닝(symbol tuning)이며, VLM에서 잘 작동한다고 알려져 있다고 설명합니다.

모델 구성 (논문 3 · 4절, 부록 D)

3. 함께 미세조정(co-fine-tuning) — 웹 지식을 잊지 않게

한 문장 직관: 운전을 배우는 동안에도 책 읽기를 계속해야 상식을 잊지 않는 것처럼, 로봇 데이터를 배우는 동안 원래의 웹 데이터도 계속 섞어 줍니다(해설용 비유).

단계별 설명

1. 웹 데이터: PaLI-X · PaLM-E의 원래 학습 혼합입니다. 대부분은 WebLI(109개 언어, 약 100억 이미지-텍스트 쌍에서 교차 모달 유사도 상위 10%를 골라 10억 예시)이고, 캡셔닝 · VQA 데이터셋이 더해집니다.
2. 로봇 데이터: RT-1의 데이터(로봇 13대, 17개월, 사무실 주방)입니다. 각 시연에 동사 + 명사 형태의 지시가 붙어 있습니다.
3. 두 데이터를 섞어 한 배치에 함께 넣습니다. 로봇 데이터 비중은 RT-2-PaLI-X에서 약 50%, RT-2-PaLM-E에서 약 66% 입니다.
4. 목적 함수는 둘 다 다음 토큰 예측입니다. 로봇 데이터에 대해서는 이것이 곧 행동 복제(behavior cloning) 손실입니다.
5. 학습률 스케줄 · 규제 등 하이퍼파라미터는 원래 PaLI-X · PaLM-E 논문 것을 따릅니다.

수식 (해설용 — 혼합 데이터의 다음 토큰 예측 손실을 정리한 것)

기호 풀이

• $\mathcal{D}_{\text{robot}}$, $\mathcal{D}_{\text{web}}$: 로봇 궤적 데이터, 웹 시각-언어 데이터
• $I$: 이미지, $\ell$: 로봇 지시(VQA 형식 질문), $q$: 웹 질문 · 캡션 요청
• $y$: 정답 토큰열(로봇이면 행동 숫자 8개, 웹이면 자연어)
• $\lambda$: 로봇 데이터 비중(PaLI-X 약 0.5, PaLM-E 약 0.66)

숫자로 해 보기 (논문 하이퍼파라미터로 한 해설용 계산)

RT-2-PaLI-X-55B는 배치 2,048, 8만 단계로 학습했습니다(부록 E).

1. 배치당 로봇 예시 ≈ $2{,}048 \times 0.5 = 1{,}024$개, 웹 예시 ≈ 1,024개
2. 전체 학습에서 본 로봇 예시 수 ≈ $1{,}024 \times 80{,}000 \approx 8{,}200$만 개(데이터를 여러 번 반복해 본다는 뜻)
3. RT-2-PaLM-E-12B는 배치 512, 100만 단계, 로봇 비중 0.66이므로 배치당 로봇 예시 ≈ $512 \times 0.66 \approx 338$개

왜 이렇게 했나

논문의 소거 실험(결과 표 6)에서 로봇 데이터만으로 미세조정하면 함께 미세조정할 때보다 일반화가 낮았습니다. 논문은 원래 데이터를 곁에 두면 VLM 학습 때 배운 개념을 잊지 않기 때문이라고 해석합니다. 처음부터 학습하면 5B 모델도 성능이 아주 나빴습니다.

4. 출력 제약 — 로봇 질문엔 행동 토큰만

한 문장 직관: 주문서의 "수량" 칸에는 숫자만 쓰도록 칸을 막아 두는 것입니다(해설용 비유).

단계별 설명

1. 일반 VLM은 아무 토큰이나 출력할 수 있지만, 로봇은 유효한 행동 토큰만 실행할 수 있습니다.
2. 그래서 로봇 행동 과제로 프롬프트했을 때는 디코딩에서 유효한 행동 토큰만 뽑도록 출력 어휘를 제한합니다.
3. 일반 시각-언어 과제에서는 여전히 모든 자연어 토큰을 낼 수 있습니다.

수식 (해설용 — 허용 집합 위로 다시 정규화한 소프트맥스)

• $z_v$: 토큰 $v$의 로짓(점수), $\mathcal{A}$: 허용된 행동 토큰 집합(256개)

숫자로 해 보기 (해설용 예)

토큰 3개의 로짓이 "apple" 2.0, "128" 1.0, "129" 0.0이고 허용 집합이 {"128", "129"}라면

1. 제약 없이: "apple"이 가장 높아 로봇이 실행할 수 없는 답이 나올 수 있습니다.
2. 제약 후: $p'(128) = e^{1}/(e^{1}+e^{0}) = 2.718/3.718 \approx 0.73$, $p'(129) \approx 0.27$. "apple"은 확률 0입니다.

5. 실시간 추론 — 클라우드 TPU에서 돌리기

• 학습한 가장 큰 모델은 550억(55B) 파라미터입니다. 논문은 직접 닫힌 루프 로봇 제어에 쓴 모델로는 알려진 것 중 10배 넘게 큰 모델이라고 말합니다.
• 이런 모델은 로봇 탑재 GPU나 일반 데스크톱에서 돌릴 수 없습니다. 그래서 다중 TPU 클라우드 서비스에 배포하고 로봇이 네트워크로 질의합니다. 한 서비스로 여러 로봇을 함께 처리할 수 있습니다.
• RT-2-PaLI-X-55B는 1~3Hz, 5B 버전은 약 5Hz로 돌았습니다.

6. 생각의 사슬 — 먼저 계획을 말로, 그다음 행동

한 문장 직관: 바로 손을 움직이기 전에 "무엇을 왜 집을지" 한 줄 메모를 먼저 쓰게 하는 것입니다(해설용 비유).

단계별 설명

1. RT-2-PaLM-E 변형을 수백 번의 경사 단계만 추가 미세조정합니다.
2. 데이터에 "Plan" 단계를 덧붙입니다. 예: Instruction: I'm hungry. Plan: pick rxbar chocolate. Action: 1 128 124 136 121 158 111 255.
3. 모델은 먼저 자연어 계획을 쓰고, 이어서 행동 토큰을 씁니다.
4. 이 방식은 VQA 데이터(시각 추론)와 조작 데이터(행동 생성)를 잇는 다리 역할을 합니다.
5. 논문은 이 변형이 더 복잡한 명령에 답할 수 있음을 정성적으로 관찰했습니다. 예: 못을 박아야 할 때 "Rocks"를 고르기, 졸린 사람에게 레드불 캔 집기.

7. 처리 흐름

1234567891011flowchart LR
    I["로봇 카메라 이미지"] --> V["ViT 이미지 인코더"]
    Q["Q: what action should the robot<br/>take to [지시]? A:"] --> T["텍스트 토큰"]
    V --> M["VLM 뼈대<br/>PaLI-X 또는 PaLM-E"]
    T --> M
    W["웹 VQA · 캡션 데이터"] -.->|"함께 미세조정"| M
    M --> C["출력 제약<br/>행동 토큰 256개만"]
    C --> S["정수 8개 문자열<br/>예: 1 128 91 241 ..."]
    S --> D["역토큰화<br/>위치 · 회전 · 그리퍼 · 종료"]
    D --> R["로봇 행동<br/>1~5Hz 닫힌 루프"]
    R -->|"새 이미지"| I

결과

모든 수치는 논문이 보고한 성공률(%)입니다. 전체 평가는 약 6,000회 실제 로봇 시도이며, 기본 로봇은 7자유도 이동 조작 로봇입니다. 모든 기준선은 같은 로봇 데이터를 씁니다. RT-1(35M), VC-1 · R3M(사전학습 시각 표현 + RT-1 뼈대), MOO(VLM으로 만든 의미 지도 채널 + RT-1 뼈대)입니다.

전체 성능 (논문 그림 4 · 부록 표 4)

본 과제는 RT-1과 같은 200개 넘는 지시, 못 본 조건은 280개 넘는 과제(주로 집어 놓기)이며 쉬움 · 어려움으로 나눴습니다.

• 본 과제는 RT-2와 RT-1이 비슷합니다. 차이는 일반화에서 납니다. 평균적으로 RT-1 · MOO보다 약 2배, 나머지 기준선보다 약 6배입니다.
• PaLM-E 버전은 어려운 일반화에서, PaLI-X 버전은 쉬운 일반화에서 더 나아 평균은 비슷했습니다.
• 논문 각주: PaLM-E-12B의 원래 사전학습 혼합에는 상위 계획용 로봇 이미지가 들어 있지만, 저수준 행동 예시는 없다고 밝힙니다.

창발 능력 (A/B 평가, 지시당 5회, 부록 표 5)

• 기호 이해 예: "move apple to 3", "push coke can on top of heart". 추론 예: 같은 색 컵으로, "둘 더하기 하나" 근처로, 스페인어 지시. 사람 인식 예: "안경 쓴 사람에게 콜라 캔을".
• RT-2-PaLI-X는 다음으로 좋은 RT-1보다 평균 3배 넘게 높았습니다.
• 수학 추론만은 PaLM-E 버전이 앞섰습니다(Math 35 대 25). 논문은 수학 계산에 더 강한 PaLM-E의 사전학습 혼합 때문이라고 봅니다.

크기 · 학습 방식 소거 (RT-2-PaLI-X, 못 본 조건, 부록 표 6)

정리하면 함께 미세조정 > 미세조정 > 처음부터, 그리고 큰 모델 > 작은 모델입니다.

Language-Table 시뮬레이션 (논문 표 1)

여기서는 행동을 "X Y"(각 −10~+10 정수, 끝단의 2차원 변위)로 표현했고, 3B 모델이라 다른 기준선과 비슷한 5Hz로 돌았습니다.

학습 설정 (부록 E)

왜 중요한가 · 이후 영향

• "VLA"라는 범주를 열었습니다. 시각-언어 모델이 행동 토큰을 직접 출력하는 이 레시피는 이후 OpenVLA · π0 같은 공개 VLA 연구의 출발점이 됐습니다(이 글의 해설).
• 로봇이 웹 지식을 "몸으로" 쓰게 됐습니다. 로봇 데이터에 한 번도 없던 숫자 · 로고 · 유명인 · 다국어 지시를 이해해 기존 집어 놓기 기술로 실행했습니다.
• 로봇 학습이 VLM 발전에 올라타는 구조. 논문 결론처럼 더 좋은 VLM이 나오면 로봇 정책도 좋아지는 길을 보였습니다.
• 함께 미세조정이라는 실용적 교훈. 사전학습 지식을 지키면서 새 출력 형식을 가르치는 방법으로, 로봇 밖의 도메인 미세조정에도 시사점이 있습니다(이 글의 해설).

한계 · 주의할 점

• 새로운 동작은 배우지 못합니다. 웹 지식은 의미 · 시각 개념을 옮길 뿐, 로봇의 물리 기술은 여전히 로봇 데이터에 있던 기술 분포 안에 머뭅니다. 논문은 기술 축의 데이터 다양성이 부족하기 때문이라 보고, 사람 영상 같은 새 데이터 수집을 제안합니다.
• 부록의 실패 사례: 손잡이처럼 특정 부위 잡기, 수건으로 닦기 같은 새 동작 · 도구 사용, 수건 접기 같은 정밀 동작, 여러 단계의 간접 추론에 약했습니다. Language-Table에서는 펜 · 바나나처럼 처음 보는 물체 역학을 다루지 못했습니다.
• 계산 비용이 큽니다. 클라우드 TPU로 1~3Hz를 냈지만, 고주파 제어가 필요한 상황에서는 실시간 추론이 병목이 될 수 있습니다. 양자화 · 증류가 과제로 남습니다.
• 쓸 수 있는 VLM이 적습니다. 미세조정 가능한 VLM이 많지 않아 재현이 어렵다고 논문이 직접 말합니다.
• 생각의 사슬 결과는 정성적입니다. Plan 단계 변형은 성공률 수치 없이 예시로 제시됩니다.

이어서 읽을 것

• 앞: RT-1 — RT-2가 그대로 쓰는 행동 256칸 토큰화와 로봇 데이터
• 앞: PaLM-E — RT-2-PaLM-E의 바탕, 멀티모달 문장
• 앞: ViT · CLIP — 시각-언어 모델의 기초
• 앞: 생각의 사슬 — Plan 단계의 영감
• 뒤: Open X-Embodiment — 여러 로봇 데이터로 RT-2 계열을 확장
• 뒤: OpenVLA — 공개된 VLA, 같은 행동 토큰 발상
• 뒤: π0 — VLM 뼈대에 연속 행동 생성을 결합한 VLA
• 뒤: LoRA — 큰 모델을 적은 비용으로 미세조정하는 방법

용어 정리

스스로 점검

1. RT-2는 VLM 구조를 바꾸지 않고 어떻게 로봇 행동을 내게 하나요? 답: 행동의 연속 차원을 256칸으로 나눠 행동 하나를 정수 8개 문자열로 바꾸고, 이를 VQA의 "답"처럼 학습시킵니다. PaLI-X는 기존 정수 토큰을, PaLM-E는 가장 드물게 쓰이는 토큰 256개를 덮어써 행동 토큰으로 씁니다. 행동 전용 층이 없어 언어와 행동이 모든 가중치를 공유합니다.

2. 로봇 데이터만으로 미세조정하지 않고 웹 데이터와 함께 미세조정한 이유는 무엇인가요? 답: 원래 웹 데이터를 곁에 두면 VLM이 사전학습에서 배운 개념을 잊지 않기 때문입니다. 표 6에서 55B 모델의 못 본 조건 평균이 로봇 데이터로만 미세조정하면 52, 함께 미세조정하면 63이었습니다. 처음부터 학습한 5B 모델은 9에 그쳤습니다.

3. RT-2의 "창발 능력"은 무엇이고, 무엇은 여전히 못 하나요? 답: 로봇 데이터에 없던 숫자 · 아이콘 · 로고 · 사람 · 다국어 지시를 이해해, 이미 배운 집어 놓기 기술을 새 방식으로 쓰는 능력입니다(PaLI-X 버전 평균 60, RT-1 17). 하지만 로봇 데이터에 없던 새 동작(닦기, 접기, 손잡이 잡기)은 배우지 못합니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X — 22종 로봇 · 100만+ 궤적 공개 데이터셋과, 다른 로봇 경험을 흡수하는 RT-X

출처

• 원문: arxiv.org/abs/2307.15818 (2023 · Anthony Brohan 외)