OpenVLA: 공개 시각-언어-행동 모델

OpenVLA: 공개 시각-언어-행동 모델

이미지와 글을 이해하는 70억 파라미터 시각-언어 모델(VLM)에 로봇 시연 97만 개를 더 학습시켜, 로봇 행동을 '단어'처럼 내놓게 만든 공개 모델입니다. 550억 파라미터의 비공개 RT-2-X보다 29개 과제에서 성공률이 16.5%p 높았고, LoRA · 4비트 양자화로 일반 GPU에서도 미세조정 · 실행할 수 있음을 보였습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델 — 행동을 숫자 토큰으로 바꿔 웹 사전학습 VLM이 로봇을 직접 제어하게 한 첫 VLA 모델입니다
• Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X — 22종 로봇 · 100만+ 궤적 공개 데이터셋과, 다른 로봇 경험을 흡수하는 RT-X

한눈에 보기

• '시각-언어-행동 모델(Vision-Language-Action, VLA)'이 무엇인지, 즉 로봇 행동을 언어 모델의 토큰으로 바꿔 이미지 + 지시문에서 바로 행동을 생성하는 방식을 이해합니다.
• 연속적인 로봇 행동을 256칸으로 나눠 토큰으로 만드는 방법과, 왜 최솟값 · 최댓값 대신 1% · 99% 분위수를 쓰는지 압니다.
• DINOv2 + SigLIP을 합친 시각 인코더, 27번 반복 학습, 시각 인코더 미세조정 같은 설계 결정이 왜 필요했는지 설명할 수 있습니다.
• LoRA로 파라미터의 1.4%만 학습해도 전체 미세조정과 비슷하고, 4비트 양자화로 메모리를 절반 이하로 줄여도 성공률이 유지된다는 실용 결과를 압니다.

초록 (번역)

인터넷 규모의 시각-언어 데이터와 다양한 로봇 시연을 함께 써서 미리 학습한 대형 정책은, 로봇에게 새 기술을 가르치는 방식을 바꿀 잠재력이 있습니다. 새 행동을 처음부터 학습하는 대신, 이런 시각-언어-행동(VLA) 모델을 미세조정해 시각-운동 제어를 위한 강건하고 일반화되는 정책을 얻을 수 있습니다. 그러나 로봇 분야에서 VLA가 널리 쓰이기는 어려웠습니다. 1) 기존 VLA는 대부분 비공개라 일반인이 쓸 수 없었고, 2) 기존 연구는 새 과제에 VLA를 효율적으로 미세조정하는 방법 — 보급의 핵심 요소 — 을 탐구하지 않았기 때문입니다. 이 문제들을 풀기 위해, 실제 로봇 시연 97만 개의 다양한 모음으로 학습한 70억 파라미터 공개 VLA인 OpenVLA를 소개합니다. OpenVLA는 Llama 2 언어 모델에, DINOv2와 SigLIP의 사전학습 특징을 합친 시각 인코더를 결합해 만들었습니다. 늘어난 데이터 다양성과 새 모델 구성 요소 덕분에, OpenVLA는 범용 조작에서 강한 결과를 보입니다. 29개 과제와 여러 로봇 형태에 걸쳐 RT-2-X(550억) 같은 비공개 모델보다 절대 과제 성공률이 16.5% 높으면서 파라미터는 7분의 1입니다. 또한 OpenVLA를 새 환경에 효과적으로 미세조정할 수 있음을 보이며, 특히 여러 물체가 있는 멀티태스크 환경에서 강한 일반화와 뛰어난 언어 연결(grounding) 능력을 보이고, Diffusion Policy 같은 표현력 있는 처음부터 학습하는 모방 학습 방법보다 20.4% 앞섭니다. 계산 효율도 살펴봅니다. 별도의 기여로, OpenVLA를 최신 저랭크 적응(LoRA) 방법으로 소비자용 GPU에서 미세조정하고, 양자화로 하위 과제 성공률 손실 없이 효율적으로 서비스할 수 있음을 보입니다. 마지막으로, 모델 체크포인트, 미세조정 노트북, 그리고 Open X-Embodiment 데이터셋에서 대규모로 VLA를 학습하는 기능이 내장된 PyTorch 코드베이스를 공개합니다.

무엇을 풀었나

로봇 정책의 큰 약점은 학습 데이터 밖으로 일반화하지 못한다는 것입니다. 물체 위치나 조명이 바뀌는 정도는 견디지만, 방해 물체 · 새 물체 · 처음 보는 지시에는 약합니다. 반면 CLIP · SigLIP · Llama 2 같은 시각 · 언어 기반 모델은 인터넷 규모 사전학습 덕분에 이런 일반화를 잘합니다. 가장 큰 로봇 데이터셋도 예시가 10만~100만 개 수준이라, 로봇 데이터만으로 그 규모를 따라가기는 어렵습니다.

그래서 "이미 있는 VLM 위에 로봇 행동을 얹자"는 VLA(RT-2 · RT-2-X 등)가 나왔습니다. 하지만 논문은 두 가지 걸림돌을 짚습니다.

1. 비공개입니다. 구조 · 학습 절차 · 데이터 혼합을 알 수 없습니다.
2. 새 로봇 · 과제에 맞추는 방법이 없습니다. 특히 소비자용 GPU 같은 보통 장비에서 미세조정 · 배포하는 모범 사례가 없습니다.

또 Octo 같은 기존 범용 정책은 사전학습된 언어 임베딩 · 시각 인코더에 처음부터 학습하는 부품을 이어 붙이는 방식이었습니다. OpenVLA는 VLM 전체를 그대로 미세조정해 행동을 토큰으로 생성하는, 더 '끝에서 끝까지(end-to-end)'인 방식을 택합니다.

핵심 아이디어

12345678flowchart LR
  A[카메라 이미지 224x224] --> B[DINOv2 + SigLIP 시각 인코더]
  B --> C[2층 MLP 투영기]
  D[지시문: What should the robot do to ...?] --> E[Llama 토크나이저]
  C --> F[Llama 2 7B]
  E --> F
  F --> G[행동 토큰 7개 생성]
  G --> H[행동 역토큰화 → 7차원 로봇 행동]

1. VLM을 뼈대로: Prismatic-7B

직관: 이미 그림 설명을 잘하는 사람에게 "그림을 보고 로봇 조종기 버튼 순서를 말해 보라"고 다시 가르치는 것입니다. 보는 눈과 말하는 능력은 그대로 쓰고, 말하는 내용만 '행동'으로 바꿉니다.

단계:

1. 시각 인코더(약 6억 파라미터)가 이미지를 패치 임베딩으로 바꿉니다. 이미지 패치를 SigLIP과 DINOv2에 따로 넣고 결과 특징을 채널 방향으로 이어 붙입니다.
2. 2층 MLP 투영기가 이 특징을 언어 모델의 입력 공간으로 옮깁니다.
3. Llama 2 7B 언어 모델이 이미지 토큰과 지시문 토큰을 받아 다음 토큰을 예측합니다.

왜 이렇게 했나: SigLIP은 '무엇이 있는지(의미)'를, DINOv2는 '어디에 어떤 모양으로 있는지(공간)'를 잘 잡는다고 알려져 있습니다. 로봇 제어에는 공간 추론이 특히 중요합니다. 논문은 작은 실험에서 LLaVA가 IDEFICS-1보다 여러 물체 중 맞는 물체를 고르는 과제에서 성공률이 35% 높았고, Prismatic은 LLaVA보다 다시 약 10% 높았다고 보고합니다. 이 차이를 합친 시각 인코더의 공간 추론 덕분으로 봅니다.

2. 행동을 토큰으로: 256칸 이산화

직관: 연속적인 온도(예: 21.37도)를 "20~21도 칸, 21~22도 칸"처럼 칸 번호로 바꿔 말하면, 숫자를 말하는 대신 칸 이름(단어)을 말하면 됩니다.

단계:

1. 로봇 행동은 7차원입니다(손끝 위치 변화 3 · 회전 변화 3 · 그리퍼 1).
2. 차원마다 학습 데이터에서 1% 분위수와 99% 분위수 사이를 256칸으로 똑같이 나눕니다.
3. 각 차원의 값을 0~255 정수(칸 번호)로 바꿉니다.
4. Llama 토크나이저는 새 토큰 자리가 100개뿐이라 256개를 넣을 수 없습니다. 그래서 가장 덜 쓰이는 마지막 256개 토큰을 행동 토큰으로 덮어씁니다.
5. 표준 다음 토큰 예측으로 학습하되, 교차 엔트로피 손실은 행동 토큰에만 계산합니다.

칸 번호를 식으로 쓰면(설명용으로 단순화):

왜 분위수인가: RT-2는 최솟값~최댓값을 나눴습니다. 그러면 드문 이상치 하나가 구간을 크게 늘려, 실제로 자주 쓰는 범위의 칸이 성기게 됩니다. 1% · 99% 분위수를 쓰면 이상치를 무시하고 촘촘하게 나눌 수 있습니다.

숫자로 해 보기(해설용 예, 논문 수치 아님): 어떤 차원의 1% 분위수가 −0.02, 99% 분위수가 +0.02라면 칸 너비는 $0.04 / 256 \approx 0.000156$입니다. 행동 값 0.005는 $(0.005 + 0.02) / 0.04 \times 256 = 160$번 칸이 됩니다. 만약 이상치 때문에 최솟값~최댓값이 −0.2~+0.2였다면 칸 너비가 10배 넓어져, −0.02~+0.02 사이의 일상적인 움직임이 약 26칸에만 몰립니다. 학습 중 모델이 정답 칸에 확률 0.7을 줬다면 그 토큰의 손실은 $-\ln 0.7 \approx 0.36$입니다.

3. 학습 데이터와 학습 설정

직관: 여러 학교의 기출문제를 모으되, 시험 형식(카메라 · 행동 방식)이 같은 것만 골라 공부합니다.

단계:

1. Open X-Embodiment(70개 넘는 데이터셋, 궤적 200만 개 이상)에서 제3자 카메라가 하나 이상 있고 한 팔 끝점 제어를 쓰는 조작 데이터만 남깁니다.
2. 데이터셋 가중치는 Octo의 혼합 가중치를 그대로 씁니다(다양한 데이터는 올리고 덜 다양한 데이터는 내림).
3. DROID 데이터셋을 가중치 10%로 넣어 봤지만 행동 토큰 정확도가 계속 낮아, 마지막 3분의 1 학습에서는 뺐습니다.
4. 최종 학습 데이터는 궤적 97만 개입니다(RT-2-X는 35만 개).

숫자로 해 보기(해설용 계산): 파라미터 70억 개를 bfloat16(한 개에 2바이트)로 저장하면 약 $7 \times 10^9 \times 2 = 14 \times 10^9$바이트, 즉 약 14GB입니다. 논문이 보고한 추론 메모리 15GB와 거의 맞습니다. 4비트(0.5바이트)로 줄이면 가중치만 약 3.5GB입니다.

4. 효율적인 미세조정과 양자화

직관: 큰 책 전체를 다시 쓰는 대신, 여백에 작은 메모(LoRA)를 붙여 내용을 고칩니다. 그리고 책을 작은 글씨(4비트)로 다시 인쇄해 가방에 넣기 쉽게 합니다.

단계:

1. 전체 미세조정: 목표 과제 시연 10~150개로 모든 가중치를 갱신합니다. A100 8장으로 과제당 5~15시간입니다.
2. LoRA: 모든 선형 층에 저랭크 행렬을 붙이고 그것만 학습합니다.
3. 양자화: 추론할 때 가중치를 8비트 · 4비트로 불러옵니다.

LoRA의 핵심 식(LoRA 원 논문 표기):

왜 LoRA인가: 마지막 층만 학습하거나 시각 인코더를 얼리면 성능이 크게 떨어졌습니다. 목표 장면에 맞게 시각 특징까지 조금씩 고쳐야 한다는 뜻입니다. LoRA는 모든 층을 조금씩 고치면서도 학습 파라미터는 아주 적습니다.

숫자로 해 보기(해설용 계산): $d = k = 4096$인 층 하나를 전체 학습하면 약 1,678만 개, $r = 32$ LoRA는 $4096 \times 32 \times 2 = 262{,}144$개로 약 1.6%입니다. 논문 표 1의 실제 값으로는 9,760만 / 71억 8,810만 ≈ 1.4%입니다.

결과

바로 쓰기(제로샷) 평가 — 평균 성공률:

• 두 환경 29개 과제에서 OpenVLA가 RT-2-X보다 절대 성공률 16.5% 높았습니다.
• RT-2-X는 의미 일반화(인터넷 개념이 필요한 과제) 범주에서만 더 좋았습니다. 논문은 RT-2-X가 더 큰 인터넷 데이터를 쓰고 로봇 데이터와 인터넷 데이터를 함께 학습(co-fine-tuning)했기 때문으로 봅니다.

새 로봇에 미세조정(Franka 로봇, 평균 성공률):

• '당근을 그릇에' 같은 좁은 단일 지시 과제에서는 Diffusion Policy가 비슷하거나 더 좋았습니다.
• 여러 물체 · 언어 지시가 필요한 다양한 과제에서는 사전학습 모델(Octo · OpenVLA)이 앞섰습니다.
• OpenVLA는 시험한 모든 과제에서 50% 이상을 낸 유일한 방법이었습니다. 'OpenVLA(처음부터)'(로봇 사전학습 없이 VLM을 바로 미세조정)가 낮은 것은 로봇 데이터 사전학습의 효과를 보여 줍니다.
• 시뮬레이션 LIBERO 4개 묶음 평균에서도 OpenVLA 76.5%, Octo 75.1%, Diffusion Policy 72.4%로 가장 높았지만, 차이는 작았습니다.

효율적 미세조정(표 1, Franka-Tabletop 일부 과제 33회):

LoRA를 쓰면 A100 한 장으로 10~15시간이면 새 과제에 미세조정할 수 있어, 전체 미세조정보다 계산이 8배 줄어듭니다.

양자화 추론(표 2, BridgeData V2 대표 8과제 80회): bfloat16 71.3%(16.8GB), int8 58.1%(10.2GB), int4 71.9%(7.0GB). int8은 양자화 연산 부담으로 A5000에서 1.2Hz밖에 못 돌아 학습 때의 5Hz 제어와 동역학이 달라져 성능이 떨어졌고, int4는 3Hz로 돌아 bfloat16과 비슷한 성능을 냈습니다.

왜 중요한가 · 이후 영향

• 공개 VLA의 기준점: 학습 데이터 구성 · 코드 · 가중치를 모두 공개해, "VLM에 로봇 행동을 얹는" 방식을 누구나 재현 · 수정할 수 있게 했습니다(시각 인코더 · Llama 2 자체의 학습 데이터는 공개되지 않았다고 논문이 밝힙니다).
• 보통 장비에서의 VLA: LoRA · 4비트 양자화로 소비자용 GPU에서도 미세조정 · 실행할 수 있음을 처음 보였습니다. 개발자가 자기 로봇에 VLA를 시험해 볼 수 있는 길을 열었습니다.
• 데이터 정제의 중요성: 데이터 규모(97만 vs 35만), Bridge 데이터의 '모두 0인 행동' 제거 같은 정제, 합친 시각 인코더가 RT-2-X를 앞선 요인으로 꼽힙니다.
• 다음 과제를 드러냄: 행동 토큰을 하나씩 생성하는 방식의 느린 속도는, 행동 덩어리 · 흐름 매칭으로 연속 행동을 한 번에 내는 π0 같은 후속 연구의 동기가 됩니다.

한계 · 주의할 점

• 이미지 한 장만 받습니다. 여러 카메라 · 고유 감각 · 관측 이력을 지원하지 않습니다.
• 느립니다. RTX 4090에서 약 6Hz라, 50Hz로 도는 ALOHA 같은 고주파 · 양팔 정밀 조작에는 아직 맞지 않습니다. 행동 덩어리나 추측 디코딩이 해법 후보로 제시됩니다.
• 신뢰도가 아직 낮습니다. 시험한 과제에서 보통 90% 미만입니다.
• 정교한 좁은 과제에서는 Diffusion Policy가 더 부드럽고 정확합니다. 행동 덩어리 · 시간 평활화가 없는 탓으로 봅니다.
• 풀리지 않은 질문: 기반 VLM 크기의 영향, 인터넷 데이터와 함께 학습하는 효과, 가장 알맞은 시각 특징은 계산 한계로 충분히 탐구하지 못했습니다.
• 5.3 · 5.4절(LoRA · 양자화) 실험은 SigLIP만 쓰고 Octo 데이터 혼합으로 학습한 조금 작은 버전으로 했다고 논문이 각주에서 밝힙니다. 최종 모델 수치와 섞어 읽지 않도록 주의해야 합니다.

이어서 읽을 것

• 앞: Open X-Embodiment · RT-X · Octo
• 뒤: π0: 흐름 기반 VLA · GR00T N1
• 고주파 양팔 조작: ALOHA · ACT
• 바탕 기술: LoRA · QLoRA · CLIP

용어 정리

스스로 점검

1. OpenVLA가 Llama 토크나이저에 행동 토큰 256개를 넣은 방법은?

   새 토큰 자리가 100개뿐이라, 가장 덜 쓰이는 마지막 256개 토큰을 행동 토큰으로 덮어썼습니다.

2. 행동 이산화에 최솟값 · 최댓값 대신 1% · 99% 분위수를 쓴 이유는?

   이상치가 구간을 크게 늘려 일상적인 움직임 범위의 칸이 성겨지는 것을 막기 위해서입니다.

3. int8 양자화가 int4보다 성능이 낮았던 이유로 논문이 드는 것은?

   int8은 양자화 연산 부담으로 추론이 느려져(A5000에서 1.2Hz) 학습 데이터의 제어 동역학(5Hz)과 어긋났기 때문입니다. 오프라인 토큰 정확도는 둘 다 bfloat16과 비슷했습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• π0: 범용 로봇 제어를 위한 흐름 기반 VLA 모델 — VLM에 흐름 매칭 행동 전문가를 붙인 로봇 기반 모델 — 빨래 개기 · 상자 조립까지

출처

• 원문: https://arxiv.org/abs/2406.09246 (2024 · Moo Jin Kim 외)