π0: 범용 로봇 제어를 위한 흐름 기반 VLA 모델

π0: 범용 로봇 제어를 위한 흐름 기반 VLA 모델

30억 파라미터 시각-언어 모델(PaliGemma)에 '행동 전문가'를 붙이고, 흐름 매칭(flow matching)으로 50단계짜리 연속 행동 덩어리를 한 번에 만들어 내는 로봇 기반 모델입니다. 7가지 로봇 · 68개 과제 · 약 1만 시간의 정교한 조작 데이터로 사전학습한 뒤 고품질 데이터로 후학습해, 빨래 개기 · 상자 접기 같은 긴 다단계 작업까지 해냈습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• OpenVLA: 공개 시각-언어-행동 모델 — 70억 VLM에 로봇 시연 97만 개를 학습한 공개 VLA — RT-2-X보다 16.5%p 높은 성공률
• 잡음 제거 확산 확률 모델 (DDPM) — 잡음을 더하는 과정을 거꾸로 되돌리며 '더해진 잡음 맞히기'로 학습해 고품질 이미지를 만든 확산 모델
• 정규화 흐름과 플로우 매칭: 변수 변환에서 직선 경로까지 — π0가 쓰는 플로우 매칭의 목표 속도 x1 − x0 와 적분 단계를 손계산으로 먼저 익힙니다

한눈에 보기

• OpenVLA처럼 행동을 '단어 토큰'으로 하나씩 뽑는 대신, 흐름 매칭으로 연속 행동 50개를 한꺼번에 만드는 이유를 알게 됩니다.
• 한 트랜스포머 안에 VLM 가중치와 작은 행동 전문가(action expert) 가중치를 따로 두는 구조와, 3블록 어텐션 마스크가 왜 필요한지 이해합니다.
• 흐름 매칭 손실과 오일러 적분(10단계)을 작은 숫자로 직접 계산해 봅니다.
• LLM처럼 다양한 저품질 데이터로 사전학습 → 일관된 고품질 데이터로 후학습하는 레시피가 로봇에서도 통한다는 주장과 그 한계를 압니다.

초록 (번역)

로봇 학습은 유연하고 범용적이며 정교한 로봇 시스템의 잠재력을 온전히 끌어내고, 인공지능의 가장 깊은 질문 몇 가지에 답할 수 있는 엄청난 가능성을 지니고 있습니다. 그러나 로봇 학습을 실세계에서 효과적인 시스템에 필요한 수준의 범용성까지 끌어올리는 데에는 데이터 · 일반화 · 강건성 측면에서 큰 장애물이 있습니다. 이 논문에서는 범용 로봇 정책(즉 로봇 기반 모델)이 이런 문제를 어떻게 풀 수 있는지, 그리고 복잡하고 매우 정교한 과제를 위한 효과적인 범용 로봇 정책을 어떻게 설계할 수 있는지 논의합니다. 인터넷 규모의 의미 지식을 물려받기 위해, 사전학습된 시각-언어 모델(VLM) 위에 세운 새로운 흐름 매칭 구조를 제안합니다. 이어서 이 모델을 한 팔 로봇 · 두 팔 로봇 · 이동형 조작 로봇을 포함한 여러 정교한 로봇 플랫폼의 크고 다양한 데이터셋으로 어떻게 학습할 수 있는지 논의합니다. 모델을 평가하는 기준은 사전학습 후 제로샷으로 과제를 수행하는 능력, 사람과 상위 VLM 정책이 주는 언어 지시를 따르는 능력, 그리고 미세조정으로 새 기술을 익히는 능력입니다. 결과는 빨래 개기, 식탁 치우기, 상자 조립 등 매우 다양한 과제를 아우릅니다.

무엇을 풀었나

논문은 범용 로봇 학습의 장애물을 데이터 · 일반화 · 강건성으로 정리합니다. 이를 풀려면 세 가지가 함께 필요하다고 봅니다.

1. 아주 큰 규모의 사전학습: 여러 로봇 · 과제의 데이터를 모아야 합니다.
2. 알맞은 구조: 인터넷 지식을 물려받으면서도, 빨래 개기처럼 고주파(최대 50Hz) · 정교한 연속 동작을 표현할 수 있어야 합니다.
3. 알맞은 학습 레시피: LLM의 사전학습 · 후학습처럼, 넓은 능력과 능숙한 실행을 따로 길러야 합니다.

기존 방법의 한계도 분명했습니다.

• OpenVLA류(자기회귀 이산화 VLA): 행동을 256칸 토큰으로 하나씩 생성해 행동 덩어리를 지원하지 않고 고주파 제어에 느립니다.
• Octo류(작은 확산 정책): 행동 덩어리는 되지만 모델 표현력이 제한적입니다.
• ACT · Diffusion Policy: 작은 데이터로 정교한 과제를 잘 배우지만, 대규모 사전학습의 이점을 쓰지 않습니다.

π0는 "큰 VLM + 흐름 매칭 행동 전문가 + 행동 덩어리"를 합쳐 이 간극을 메우려 합니다.

핵심 아이디어

12345678910flowchart LR
  A[카메라 이미지 2~3장] --> B[이미지 인코더]
  C[언어 지시] --> D[PaliGemma VLM 가중치]
  B --> D
  E[로봇 상태 q_t] --> F[행동 전문가 가중치 3억]
  G[잡음 행동 덩어리 50개] --> F
  D <--> F
  F --> H[벡터장 v 예측]
  H --> I[오일러 적분 10단계]
  I --> J[행동 50개 실행 → 다시 추론]

1. VLM + 행동 전문가: 한 트랜스포머, 두 벌의 가중치

직관: 통역팀에 '언어 담당'과 '몸동작 담당'이 있고, 둘은 같은 회의실(셀프 어텐션)에서 정보를 나누지만 각자 자기 머리(가중치)로 생각합니다.

단계:

1. 이미지 · 언어 토큰은 큰 VLM 가중치(PaliGemma, 30억 파라미터)로 보냅니다.
2. 로봇 상태 $q_t$와 행동 토큰은 작은 행동 전문가 가중치(3억 파라미터, 처음부터 학습)로 보냅니다.
3. 두 가중치는 셀프 어텐션 층에서만 서로를 봅니다. 합쳐서 33억 파라미터입니다.

왜 이렇게 했나: Transfusion처럼 한 트랜스포머로 이산(언어) · 연속(행동) 출력을 함께 학습하되, 로봇용 토큰에 따로 가중치를 두니 성능이 더 좋았다고 보고합니다. 두 원소짜리 전문가 혼합(mixture of experts)과 비슷한 구조입니다. 행동 전문가를 작게 만든 것은, 흐름 매칭 추론에서 이 부분만 여러 번 돌려야 하기 때문입니다.

2. 3블록 어텐션 마스크

직관: 원래 시험지(이미지 · 언어)를 푸는 학생은 새로 붙인 부록(상태 · 행동)을 보지 못하게 해, 원래 실력이 흐트러지지 않게 합니다.

단계: 토큰을 세 블록 $[I^1_t, \dots, I^n_t, \ell_t]$, $[q_t]$, $[a^\tau_t, \dots, a^\tau_{t+H-1}]$로 나눕니다. 블록 안에서는 서로 다 보고(양방향), 앞 블록은 뒤 블록을 보지 못합니다.

숫자로 해 보기(해설용 계산): 행동 덩어리 50개를 10번 다듬으려면 행동 토큰 50개에 대한 계산을 10번 해야 합니다. 블록 1 · 2는 앞 블록만 보므로 한 번 계산해 캐시하고, 반복할 때는 블록 3만 다시 계산합니다. 논문의 RTX 4090 측정에서 이미지 인코더 14ms, 관측 계산 32ms, 행동 계산 10번 27ms로 로봇 위에서 총 73ms입니다(로봇 밖 서버로 보내면 네트워크 13ms가 더해져 86ms).

3. 흐름 매칭으로 행동 덩어리 만들기

직관: 안개(잡음)에서 출발해 "정답 쪽으로 어느 방향 · 얼마나 빨리 가야 하는지"를 알려 주는 나침반(벡터장)을 따라 몇 걸음 걸으면 정답 행동에 도착합니다. 확산 모델이 "잡음을 조금씩 지우는" 방식이라면, 흐름 매칭은 "잡음에서 정답까지 곧은 길의 속도"를 배웁니다.

단계(학습):

1. 실제 행동 덩어리 $A_t$와 표준 정규 잡음 $\epsilon$을 뽑습니다.
2. 흐름 시각 $\tau \in [0, 1]$을 뽑아 둘을 섞습니다: $A^\tau_t = \tau A_t + (1 - \tau)\epsilon$. $\tau = 0$이면 순수 잡음, $\tau = 1$이면 정답입니다.
3. 모델이 예측한 속도 $v_\theta$가 목표 속도 $u = A_t - \epsilon$과 같아지도록 제곱 오차를 줄입니다.

단계(추론): 잡음 $A^0_t \sim \mathcal{N}(0, I)$에서 시작해 오일러 적분으로 $\tau = 0 \to 1$까지 걷습니다.

왜 흐름 매칭 · 연속 행동인가: 정교한 고주파 과제는 정밀하고 여러 갈래(multimodal)인 행동 분포가 필요합니다. 256칸 이산화는 정밀도에 한계가 있고 행동을 하나씩 생성해 느립니다. 흐름 매칭은 연속값을 그대로 다루고, 50개 행동을 한 번에 만듭니다.

왜 시각 $\tau$를 균일하게 뽑지 않나: 이미지 생성 연구는 중간 시각을 강조했지만, 논문은 로봇 행동은 관측이 정보가 많아서 "관측을 보고 평균 행동을 맞히는 일" 자체가 어렵다고 봅니다. 그래서 잡음이 많은 낮은 $\tau$를 강조하는 이동된 베타 분포, $p(\tau) = \mathrm{Beta}\!\left(\frac{s - \tau}{s}; 1.5, 1\right)$, $s = 0.999$를 씁니다. $s$ 위의 시각은 아예 뽑지 않습니다(적분 걸음이 $1 - s$보다 크기만 하면 필요 없음).

숫자로 해 보기(해설용 1차원 예, 논문 수치 아님): 정답 행동 $A = 1.0$, 잡음 $\epsilon = -0.6$, $\tau = 0.3$이면 섞인 행동은 $0.3 \times 1.0 + 0.7 \times (-0.6) = -0.12$이고, 목표 속도는 $u = 1.0 - (-0.6) = 1.6$입니다. 모델이 $v = 1.4$를 냈다면 손실은 $(1.4 - 1.6)^2 = 0.04$입니다. 추론 때 모델이 완벽히 $v = 1.6$을 낸다면, $-0.6$에서 시작해 걸음마다 $0.1 \times 1.6 = 0.16$씩 움직여 10걸음 뒤 $-0.6 + 1.6 = 1.0$, 정답에 도착합니다. 길이 곧아서 적은 걸음으로도 충분합니다.

4. 행동 덩어리 실행: 열린 루프로 일부만

직관: 내비게이션이 앞으로 50m 경로를 그려 주면 25m쯤 가서 다시 경로를 계산하는 것과 같습니다.

단계: 한 번 추론하면 50걸음을 얻지만, 다 쓰기 전에 다시 추론합니다. 20Hz 로봇(UR5e · Franka)은 16걸음(0.8초)마다, 50Hz 로봇은 25걸음(0.5초)마다 추론합니다. 덩어리 사이를 섞는 시간 앙상블(temporal ensembling)은 오히려 성능을 떨어뜨려 쓰지 않았다고 합니다.

숫자로 해 보기(해설용 계산): 50Hz에서 25걸음은 $25 / 50 = 0.5$초입니다. 한 번 추론이 73ms이므로, 0.5초 동안 행동을 실행하는 사이에 다음 추론을 할 시간이 충분합니다. 행동을 하나씩 생성하는 방식이라면 매 0.02초마다 추론해야 합니다.

5. 데이터 혼합과 사전학습 · 후학습

직관: 운동선수가 기초 체력 훈련(여러 종목 · 막 섞인 연습)으로 넘어져도 일어나는 법을 배우고, 대회 전에는 코치의 깔끔한 시범(고품질 데이터)으로 동작을 다듬는 것과 같습니다.

단계:

1. 사전학습 혼합: 자체 데이터 9억 300만 걸음(한 팔 1억 600만 · 두 팔 7억 9,700만), 7가지 로봇 구성 · 68개 과제. 여기에 OXE(22개 로봇) · Bridge v2 · DROID 같은 공개 데이터가 혼합의 9.1%를 차지합니다. 공개 데이터는 보통 카메라 1~2대 · 2~10Hz 저주파 제어입니다.
2. 불균형 보정: 과제-로봇 조합마다 표본 수 $n$에 대해 가중치 $n^{0.43}$을 줍니다.
3. 차원 맞추기: 상태 · 행동 벡터를 가장 큰 로봇 기준 18차원(6자유도 팔 2개 · 그리퍼 2개 · 이동 베이스 · 상하 몸통)으로 맞추고, 작은 로봇은 0으로 채웁니다. 이미지가 3장보다 적으면 빈 칸을 가립니다.
4. 후학습: 과제별 데이터로 미세조정합니다. 간단한 과제는 5시간, 가장 복잡한 과제는 100시간 이상의 데이터를 씁니다.
5. 상위 정책: 식탁 치우기 같은 과제는 상위 VLM이 "식탁 치워"를 "냅킨 집어", "냅킨을 쓰레기통에" 같은 하위 지시로 쪼개 줍니다(SayCan과 비슷한 방식).

숫자로 해 보기(해설용 계산): 어떤 조합은 표본이 100개, 다른 조합은 10,000개라면 데이터 양은 100배 차이지만 가중치는 $100^{0.43} \approx 7.2$와 $10000^{0.43} \approx 52.5$로 약 7.2배 차이로 줄어듭니다. 많은 과제(예: 빨래 개기)가 혼합을 독차지하지 않게 합니다.

왜 두 단계인가: 논문은 고품질 데이터만으로 학습하면 실수에서 회복하지 못하는 깨지기 쉬운 모델이 되고, 사전학습 모델만 쓰면 후학습 데이터의 능숙한 전략을 늘 보이지는 않는다고 설명합니다. 다양한 사전학습 데이터는 회복 능력을, 일관된 후학습 데이터는 잘하는 법을 가르칩니다.

결과

대부분 결과는 그래프로 보고되어, 여기서는 본문에 숫자로 적힌 것과 결론만 옮깁니다.

사전학습 직후 바로 쓰기(셔츠 개기 · 쉬운/어려운 식탁 치우기 · 장보기 봉투 담기 · 토스트 꺼내기, 과제당 10회 정규화 점수):

• π0(70만 단계 학습)가 모든 과제에서 가장 높았고, 셔츠 개기와 쉬운 식탁 치우기는 거의 완벽했습니다.
• 기준선과 학습 단계 수를 맞춘 'parity' 버전(16만 단계; OpenVLA 16만 · Octo 32만 단계)도 모든 기준선보다 좋았습니다.
• VLM 초기화가 없는 π0-small(4억 7,000만)도 OpenVLA · Octo보다 좋았습니다. OpenVLA는 행동 덩어리를 지원하지 않아 어려워했고, UR5e 데이터만으로 미세조정한 OpenVLA가 더 나았지만 π0에는 크게 못 미쳤습니다.

언어 지시 따르기(식탁 치우기 · 식탁 차리기 · 장보기 봉투, 과제당 10회): π0의 언어 지시 정확도가 π0-small보다 크게 높았습니다. 사람 전문가가 중간 지시를 줄 때(π0-human)와 상위 VLM이 줄 때(π0-HL) 모두 성능이 올랐고, π0-small은 언어 이해가 약해 상위 정책을 붙여도 이득이 없었습니다.

새 정교한 과제 미세조정(그릇 쌓기 · 수건 개기 · 전자레인지에 통 넣기 · 키친타월 교체 · Franka 서랍 정리, 1 · 5 · 10시간 데이터):

• π0가 대체로 OpenVLA · Octo · ACT · Diffusion Policy보다 좋았습니다.
• 흥미롭게도 기존 방법 중에서는 목표 과제만으로 처음부터 학습한 ACT · Diffusion Policy가 가장 강했습니다. 기존 사전학습 모델이 이런 영역에서 사전학습을 살리기 어렵다는 뜻으로 논문은 해석합니다.
• 사전학습한 π0는 처음부터 학습한 π0보다 자주 나았고, 최대 2배까지 차이가 났습니다. 사전학습 데이터와 비슷한 과제일수록 이득이 컸습니다.

복잡한 다단계 과제(빨래 개기 · 이동 빨래 · 건조기 비우기 · 식탁 치우기 · 상자 조립 · 포장 용기 담기 · 달걀 포장, 과제당 10회): 다른 방법으로는 풀 수 없어 π0 변형끼리 비교했습니다. 사전학습 + 후학습 π0가 모든 과제에서 최고 점수의 50% 넘게 얻었고, 특히 어려운 과제에서 사전학습의 이득이 컸습니다. 과제당 수행 시간은 5~20분입니다.

왜 중요한가 · 이후 영향

• 연속 행동 VLA의 설계도: "VLM의 지식 + 흐름 매칭의 정밀함 + 행동 덩어리의 속도"를 한 구조로 묶었습니다. OpenVLA가 보여 준 이산 토큰 방식의 속도 · 정밀도 한계에 대한 직접적인 답입니다.
• 로봇판 사전학습 · 후학습: LLM에서 '지식은 사전학습에서, 쓰는 법은 후학습에서'라는 관찰이 로봇에도 비슷하게 나타날 수 있다는 실험적 근거를 줍니다.
• 긴 실세계 작업: 건조기에서 빨래를 꺼내 바구니에 담고 옮겨 개는 수준의 긴 다단계 과제를 학습한 정책으로 보여, 이 분야의 목표 수준을 끌어올렸습니다.
• VLM 교체 가능: PaliGemma는 크기가 작아 실시간 제어에 편해서 골랐을 뿐, 어떤 사전학습 VLM에도 붙일 수 있다고 밝힙니다.

한계 · 주의할 점

• 데이터 구성 원리를 아직 모릅니다. 있는 데이터를 다 합쳤을 뿐, 어떤 데이터를 얼마나 섞어야 좋은지는 열린 문제입니다.
• 모든 과제가 안정적으로 되지는 않습니다. 거의 완벽한 성능에 데이터가 얼마나, 어떤 종류가 필요한지 예측하기 어렵습니다.
• 다른 분야로의 전이는 미지수입니다. 자율주행 · 내비게이션 · 다리 로봇 보행까지 같은 기반 모델이 통할지는 앞으로의 과제입니다.
• 비교의 공정성: π0-small과의 비교는 VLM 초기화 여부와 모델 크기가 함께 달라 두 효과를 분리하기 어렵다고 논문 스스로 밝힙니다. OpenVLA · Octo는 시간 제약으로 π0만큼 오래 학습하지 못했습니다.
• 자체 데이터 · 자체 평가: 핵심 사전학습 데이터(약 1만 시간)는 Physical Intelligence 자체 데이터이고, 점수 기준도 과제별 자체 채점표라 다른 연구와 직접 비교하기 어렵습니다(해설자 주의). 이 해설은 arXiv v4(2026년 1월 갱신판)를 기준으로 읽었습니다.

이어서 읽을 것

• 앞: OpenVLA · Octo · Open X-Embodiment
• 행동 덩어리 · 양팔 하드웨어: ALOHA · ACT · Mobile ALOHA
• 함께 볼 기반 모델: GR00T N1 · Cosmos 월드 기반 모델
• 바탕: 잡음 제거 확산 확률 모델 (DDPM) · 어텐션만 있으면 된다

용어 정리

스스로 점검

1. π0가 행동을 256칸 토큰이 아닌 흐름 매칭으로 만드는 이유는?

   정교한 고주파 과제에는 정밀하고 여러 갈래인 연속 행동 분포가 필요하고, 50개 행동을 한 번에 만들어야 실시간 제어가 되기 때문입니다. 이산 토큰을 하나씩 생성하면 정밀도와 속도 모두 손해입니다.

2. 3블록 마스크에서 이미지 · 언어 블록이 상태 · 행동 블록을 보지 못하게 한 이유는?

   VLM 사전학습 때와 같은 입력만 보게 해 분포 변화를 줄이고, 앞 블록의 계산을 캐시해 흐름 매칭 10단계 동안 행동 블록만 다시 계산하기 위해서입니다.

3. 흐름 시각 $\tau = 0.5$에서 정답 2.0, 잡음 0.0이면 섞인 행동과 목표 속도는?

   섞인 행동은 $0.5 \times 2.0 + 0.5 \times 0.0 = 1.0$, 목표 속도는 $u = 2.0 - 0.0 = 2.0$입니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• GR00T N1: 휴머노이드 로봇 공개 기반 모델 — VLM(시스템 2)과 흐름 매칭 DiT(시스템 1)를 묶은 NVIDIA의 공개 휴머노이드 VLA

출처

• 원문: arxiv.org/abs/2410.24164 (2024 · Kevin Black 외, Physical Intelligence)