GR00T N1: 휴머노이드 로봇 공개 기반 모델

GR00T N1: 휴머노이드 로봇 공개 기반 모델

NVIDIA가 휴머노이드 로봇용으로 공개한 시각-언어-행동(VLA) 기반 모델입니다. '생각하는 느린 머리(시각-언어 모델)'와 '움직이는 빠른 손(확산 트랜스포머)'을 한 몸으로 묶고, 실제 로봇 데이터 · 시뮬레이션 · 생성 영상 · 사람 영상을 '데이터 피라미드'로 섞어 학습했습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• π0: 범용 로봇 제어를 위한 흐름 기반 VLA 모델 — VLM에 흐름 매칭 행동 전문가를 붙인 로봇 기반 모델 — 빨래 개기 · 상자 조립까지

한눈에 보기

• 로봇 기반 모델이 왜 '데이터 섬(data island)' 문제를 겪는지, 그리고 이를 데이터 피라미드로 어떻게 푸는지 알게 됩니다.
• 시스템 2(시각-언어 모듈, 10Hz)와 시스템 1(확산 트랜스포머 행동 모듈, 120Hz)로 나눈 이중 시스템 구조를 설명할 수 있습니다.
• 흐름 매칭(flow matching)으로 행동 묶음을 만드는 식과, 4단계 오일러 적분으로 행동을 뽑는 과정을 손으로 따라가 봅니다.
• 행동 정보가 없는 영상에 '잠재 행동'과 '역동역학 모델 의사 행동'을 붙여 학습 데이터로 쓰는 요령을 압니다.
• 시뮬레이션 · 실제 GR-1 휴머노이드에서 보고된 성공률을 정확한 숫자로 확인합니다.

초록 (번역)

범용 로봇에게는 다재다능한 몸과 지능적인 정신이 필요합니다. 최근 휴머노이드 로봇의 발전은 사람의 세계에서 범용 자율성을 구축할 하드웨어 플랫폼으로서 큰 가능성을 보여 주었습니다. 방대하고 다양한 데이터로 학습한 로봇 기반 모델은, 로봇이 새로운 상황을 추론하고 현실 세계의 변동을 견고하게 다루며 새 과제를 빠르게 배우게 하는 데 꼭 필요합니다. 이를 위해 우리는 휴머노이드 로봇을 위한 공개 기반 모델 GR00T N1을 소개합니다. GR00T N1은 이중 시스템 구조를 가진 시각-언어-행동(VLA) 모델입니다. 시각-언어 모듈(시스템 2)은 시각과 언어 지시를 통해 환경을 해석합니다. 그 뒤에 오는 확산 트랜스포머 모듈(시스템 1)은 매끄러운 모터 행동을 실시간으로 생성합니다. 두 모듈은 긴밀하게 결합되어 처음부터 끝까지 함께 학습됩니다. 우리는 실제 로봇 궤적, 사람 영상, 합성 생성 데이터셋을 섞은 이질적인 혼합 데이터로 GR00T N1을 학습합니다. 범용 로봇 모델 GR00T N1이 여러 로봇 형태에 걸친 표준 시뮬레이션 벤치마크에서 최신 모방 학습 기준 모델들을 능가함을 보입니다. 또한 이 모델을 Fourier GR-1 휴머노이드 로봇에 배치해 언어 조건 양팔 조작 과제에서 높은 데이터 효율로 강한 성능을 냅니다.

무엇을 풀었나

언어 모델은 인터넷 글을 긁어모아 학습하면 됩니다. 로봇은 그렇지 않습니다. 로봇 데이터는 사람이 원격 조종(teleoperation)으로 한 번씩 시범을 보여야 생기므로, 사람의 노동 시간에 정비례해서만 늘어납니다.

게다가 로봇마다 팔 개수, 관절 수, 카메라 위치가 달라서 데이터가 서로 섞이지 않습니다. 논문은 이것을 '데이터 섬' 문제라고 부릅니다. 한 회사의 GR-1 데이터와 다른 연구실의 로봇 팔 데이터는 같은 '언어'로 적혀 있지 않은 셈입니다.

또 하나의 문제는 속도입니다. 큰 시각-언어 모델은 똑똑하지만 느리고, 로봇 손가락 제어는 빠른 반응이 필요합니다. 한 모델로 둘을 동시에 만족시키기 어렵습니다.

핵심 아이디어

123456789flowchart LR
  A[카메라 영상 + 언어 지시] --> B[시스템 2: Eagle-2 VLM<br/>12번째 층 특징]
  C[로봇 자기 상태] --> D[로봇별 상태 인코더]
  E[잡음 섞인 행동 묶음] --> F[로봇별 행동 인코더]
  B -->|크로스 어텐션| G[시스템 1: DiT 블록]
  D --> G
  F --> G
  G --> H[로봇별 행동 디코더]
  H --> I[16단계 행동 묶음 → 모터]

1. 이중 시스템: 느리게 생각하고 빠르게 움직이기

직관: 운전할 때 "다음 교차로에서 좌회전"은 천천히 생각하지만, 핸들을 미세하게 돌리는 건 반사적으로 합니다. 논문은 이 비유를 심리학의 '시스템 1 · 시스템 2'(Kahneman)에서 가져왔습니다.

단계:

1. 시스템 2(시각-언어 모듈): NVIDIA Eagle-2 VLM이 영상과 지시문을 읽습니다. NVIDIA L40 GPU에서 10Hz로 돕니다.
2. Eagle-2의 맨 마지막 층이 아니라 중간층(12번째 층) 특징을 꺼냅니다.
3. 시스템 1(행동 모듈): 확산 트랜스포머(DiT)가 이 특징에 크로스 어텐션을 걸어, 120Hz로 모터 행동을 만듭니다.
4. 두 모듈은 따로 학습하지 않고 한 번에(end-to-end) 함께 학습합니다.

왜 이렇게 했나:

• 중간층을 쓴 이유: 논문은 마지막 층 대신 중간층을 쓰니 추론이 빨라지고 성공률도 높아졌다고 보고합니다. 마지막 층은 '다음 글자 맞히기'에 특화돼 있어 행동 제어에 필요한 공간 정보가 덜 남아 있을 수 있다는 해석이 가능합니다(해설자의 해석).
• 나눈 이유: 큰 모델 하나를 120Hz로 돌리긴 어렵습니다. 무거운 이해는 느리게, 가벼운 제어는 빠르게 돌려 둘 다 챙깁니다.

모델 크기(원문 수치): 공개된 GR00T-N1-2B는 전체 22억(2.2B) 파라미터, 그중 VLM이 13.4억(1.34B)입니다. 행동 16개 묶음을 뽑는 데 L40 GPU · bf16 기준 63.9ms가 걸립니다.

2. 로봇마다 다른 몸을 하나로: 로봇별 인코더 · 디코더

직관: 여러 나라 사람이 회의할 때 각자 통역사를 두고 가운데서는 공용어로 이야기하는 것과 같습니다.

단계: 로봇마다 상태 · 행동 벡터 차원이 다르므로, 로봇 종류마다 작은 MLP를 하나씩 둬서 같은 크기의 임베딩으로 바꿉니다. 가운데 DiT는 모든 로봇이 공유하고, 출력은 다시 로봇별 디코더(MLP)가 그 로봇의 행동 차원으로 돌려 놓습니다.

왜 이렇게 했나: 모든 로봇의 행동을 억지로 같은 형식으로 맞추면 정보가 깨집니다. 입출력만 로봇별로 두고 '생각하는 몸통'을 공유하면, 한 로봇에서 배운 것이 다른 로봇으로 옮겨 갈 여지가 생깁니다.

3. 흐름 매칭으로 행동 묶음 만들기

직관: 흐린 사진(잡음)에서 시작해 몇 번 손질하면 선명한 사진(행동)이 되도록, '어느 방향으로 손질할지'를 배우는 방법입니다.

단계:

1. 정답 행동 묶음 $A_t = [a_t, a_{t+1}, \ldots, a_{t+H-1}]$를 준비합니다. 논문은 $H = 16$입니다(ACT의 행동 청킹 방식).
2. 잡음 $\epsilon \sim \mathcal{N}(0, I)$과 섞는 정도 $\tau \in [0, 1]$를 뽑습니다.
3. 섞은 행동 $A_t^\tau = \tau A_t + (1-\tau)\epsilon$을 만듭니다. $\tau=0$이면 순수 잡음, $\tau=1$이면 정답입니다.
4. 모델 $V_\theta$가 "잡음과 정답 사이의 방향"을 맞히도록 학습합니다.

추론할 때는 $A_t^0 \sim \mathcal{N}(0, I)$에서 시작해 오일러 적분을 $K$번 합니다.

논문은 $K = 4$단계면 모든 로봇에서 잘 된다고 보고합니다.

기호 방향에 대한 주의: 섞는 식 $A^\tau = \tau A + (1-\tau)\epsilon$에서 $\tau$가 커질 때 움직이는 방향은 $A - \epsilon$입니다. 추론 식이 $V_\theta$를 더해 나가므로, 해설에서는 "$V_\theta$가 잡음에서 정답 쪽($A - \epsilon$)을 가리키도록 배운다"고 이해하는 것이 자연스럽습니다. 원문 식 (1)의 $(\epsilon - A_t)$ 표기는 그대로 옮겼습니다.

숫자로 해 보기(해설용 예, 논문 수치 아님): 행동이 1차원이고 정답 $A = 2$, 처음 잡음 $\epsilon = -2$라고 합시다. 모델이 완벽하게 $V = A - \epsilon = 4$를 낸다면, $K=4$에서 한 걸음은 $\frac{1}{4} \times 4 = 1$입니다. $-2 \to -1 \to 0 \to 1 \to 2$로 네 걸음 만에 정답에 닿습니다. 학습 때 $\tau = 0.25$를 뽑았다면 섞은 값은 $0.25 \times 2 + 0.75 \times (-2) = -1$이고, 모델은 이 $-1$을 보고 "방향 4"를 맞혀야 합니다.

왜 확산 · 흐름 매칭인가: 같은 상황에서도 사람 시범은 여러 방식(왼손으로 · 오른손으로)이 섞여 있습니다. 평균을 내는 회귀는 두 방식의 어중간한 중간을 내놓기 쉽지만, 생성 모델은 그중 하나를 골라 그럴듯한 행동을 만듭니다.

보조 손실(부록): 공간 이해를 돕기 위해, 지시문이 가리키는 물체의 경계 상자 중심 좌표를 맞히는 물체 위치 손실 $\mathcal{L}_{det}$을 더해 최종 손실을 $\mathcal{L} = \mathcal{L}_{fm} + \mathcal{L}_{det}$로 둡니다. 정답 상자는 OWL-v2 검출기로 붙였습니다.

4. 데이터 피라미드: 많고 흐린 데이터에서 적고 정확한 데이터까지

직관: 요리를 배울 때 유튜브 요리 영상(많지만 내 부엌과 다름) → 요리 게임(연습용) → 실제 내 부엌에서 해 보기(적지만 정확) 순으로 쌓는 것과 같습니다.

위로 갈수록 양은 줄고, 특정 로봇에 딱 맞는 정도는 커집니다. 학습할 때는 이 세 층에서 섞어 배치를 뽑습니다.

5. 행동 없는 영상에 행동 붙이기

사람 영상이나 생성 영상에는 '관절을 얼마나 돌렸는지'가 없습니다. 논문은 두 가지로 이 빈칸을 채웁니다.

• 잠재 행동(latent action): VQ-VAE가 현재 프레임과 조금 뒤 프레임을 보고 "그 사이에 일어난 움직임"을 압축한 코드를 배웁니다. 이 코드(양자화 전 연속 값)를 행동 라벨로 씁니다. 논문 그림 4는 같은 잠재 행동이 로봇과 사람 모두에서 "오른팔을 왼쪽으로"처럼 비슷한 움직임에 대응함을 보여 줍니다.
• 역동역학 모델(IDM) 의사 행동: 실제 로봇 데이터로 "두 장면 사이에 어떤 행동이 있었나"를 맞히는 모델을 학습해, 생성 영상에 의사 행동을 붙입니다.

왜 이렇게 했나: 행동 라벨이 없는 데이터는 버리기 쉽지만, 피라미드 바닥은 양이 가장 많은 층입니다. 라벨을 근사로라도 붙이면 이 데이터를 '또 하나의 로봇 몸'처럼 학습에 넣을 수 있습니다.

6. 합성 데이터 만들기

• 신경 궤적(neural trajectories): 자체 수집 원격 조종 데이터 88시간으로 이미지→영상 생성 모델을 미세조정하고(부록: WAN2.1-I2V-14B를 LoRA로), 새 지시문을 주어 827시간 분량의 영상을 만들어 약 10배로 늘렸습니다. 관련 연구 절은 이를 30만 개(300k) 신경 궤적이라고 적습니다. 상용 멀티모달 LLM으로 물체를 찾아 "{물체}를 {A}에서 {B}로" 같은 지시문을 만들고, 영상 8프레임을 보여 주어 지시를 따르지 않은 영상을 걸러 냈습니다.
• 시뮬레이션 궤적: DexMimicGen으로 소수의 사람 시범을 변형 · 재생해 늘리고, 성공한 시범만 남깁니다. 사전학습 · 후학습을 합쳐 78만 개 궤적(사람 시범 6,500시간, 쉬지 않고 9개월 분량)을 11시간 만에 만들었습니다.

7. 학습 설정 (원문 기준)

• 사전학습: 위 데이터 혼합 전체에 흐름 매칭 손실. 사람 영상은 잠재 행동을, 실제 로봇 데이터는 실제 행동과 잠재 행동을 둘 다, 신경 궤적은 잠재 행동과 IDM 의사 행동을 목표로 씁니다.
• 후학습: 로봇 종류 하나의 데이터로 미세조정하고, VLM의 언어 부분은 얼립니다.
• 인프라: H100 GPU 클러스터, 한 모델에 최대 1,024개 GPU. GR00T-N1-2B 사전학습에 H100 약 5만 GPU시간.
• 작은 자원: A6000 GPU 한 장에서 어댑터 층과 DiT만 조정하면 배치 최대 200, 시각 인코더까지 조정하면 최대 16.

결과

시뮬레이션(과제당 시범 100개, 평균 성공률, 원문 표 2):

과제 수는 RoboCasa 24개, DexMG 9개, GR-1 24개이고, 30 · 100 · 300개 시범 모두에서 GR00T N1이 앞섰다고 보고합니다.

실제 GR-1 휴머노이드(평균 성공률, 원문 표 3):

• 10% 데이터로 학습한 GR00T N1이 전체 데이터로 학습한 Diffusion Policy보다 3.8%포인트 낮을 뿐입니다.
• 사전학습 모델 그대로(후학습 없이) 두 과제를 시험해, 양손 넘겨주기 과제 76.6%(15번 중 11.5), 처음 보는 물체 · 용기 과제 73.3%(15번 중 11)를 기록했습니다(0.5는 잡기는 했지만 넣지 못한 경우).
• 신경 궤적을 함께 학습하면 RoboCasa에서 시범 30 · 100 · 300개일 때 평균 +4.2%, +8.8%, +6.8%, GR-1 8개 과제 평균 +5.8%가 올랐습니다.

(표의 행 배치는 PDF 추출본에서 열이 밀려 있어, 본문의 "10% 설정에서 32.4%, 전체 설정에서 30.4% 앞섬", "3.8% 낮음" 서술과 맞도록 행을 맞췄습니다.)

왜 중요한가 · 이후 영향

• 공개 기반 모델: 2B 체크포인트 · 학습 데이터 · 시뮬레이션 벤치마크를 공개해, 휴머노이드 연구를 처음부터 하지 않아도 되게 했습니다.
• 데이터가 부족한 분야의 처방전: 사람 영상 · 시뮬레이션 · 영상 생성 모델을 '데이터 공장'으로 쓰는 구체적 방법을 보였습니다. 이는 Cosmos 같은 월드 기반 모델과 직접 이어집니다.
• VLA 설계의 한 정석: VLM 위에 흐름 매칭 행동 모듈을 붙이는 π0 방식을 휴머노이드와 여러 로봇 몸으로 넓혔습니다.

한계 · 주의할 점

• 논문 스스로 짧은 탁자 위 조작 과제 위주라고 밝힙니다. 걸어 다니며 하는 긴 과제(loco-manipulation)는 앞으로의 과제입니다.
• 합성 데이터가 물리 법칙을 지키면서 다양한 반사실(counterfactual) 상황을 만들기는 아직 어렵다고 적습니다.
• 성공률 비교 대상이 처음부터 학습한 기준 모델(BC Transformer · Diffusion Policy)이라, 다른 사전학습 VLA와의 직접 비교는 이 논문에 없습니다.
• 실제 로봇 평가는 과제당 10회(일부 과제 5회) 시도라 숫자의 흔들림이 클 수 있습니다.

이어서 읽을 것

• 앞: ALOHA · ACT (행동 청킹) · Open X-Embodiment · π0
• 옆: Octo · OpenVLA
• 뒤: Cosmos 월드 기반 모델 · Genie

용어 정리

스스로 점검

1. 시스템 1과 시스템 2를 나눈 이유는? — 큰 시각-언어 모델은 느려서(10Hz) 빠른 모터 제어(120Hz)를 맡기기 어렵기 때문입니다. 이해는 느리게, 제어는 빠르게 돌립니다.
2. 사람 영상에는 로봇 행동이 없는데 어떻게 학습에 쓰나? — VQ-VAE로 두 프레임 사이 움직임을 압축한 잠재 행동을 라벨로 붙여, 또 하나의 '몸'처럼 학습에 넣습니다.
3. 실제 로봇 실험에서 데이터 효율을 보여 주는 숫자는? — 데이터 10%로 학습한 GR00T N1(평균 42.6%)이 전체 데이터로 학습한 Diffusion Policy(46.4%)와 3.8%포인트 차이밖에 나지 않습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• Eureka: LLM이 코딩으로 보상 함수 설계하기 — GPT-4가 보상 코드를 쓰고 고치는 진화 탐색으로 29개 과제 중 83%에서 사람 보상 추월

출처

• 원문: https://arxiv.org/abs/2503.14734 (2025 · NVIDIA)