Cosmos: 피지컬 AI를 위한 월드 기반 모델 플랫폼

Cosmos: 피지컬 AI를 위한 월드 기반 모델 플랫폼

NVIDIA가 로봇 · 자율주행 같은 피지컬 AI를 "먼저 디지털 세계에서 학습"시킬 수 있도록, 영상 데이터 정제 파이프라인 · 영상 토크나이저 · 사전학습 월드 모델(확산 · 자기회귀) · 사후 학습 예제 · 안전 장치를 한 묶음으로 공개한 기술 보고서입니다. "큰 범용 월드 모델을 만들고, 내 로봇 데이터로 조금 더 학습시킨다"는 틀을 제시합니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• Genie: 생성형 상호작용 환경 — 행동 라벨 없는 게임 영상만으로 조종 가능한 세계를 만드는 11B 월드 모델
• 잡음 제거 확산 확률 모델 (DDPM) — 잡음을 더하는 과정을 거꾸로 되돌리며 '더해진 잡음 맞히기'로 학습해 고품질 이미지를 만든 확산 모델

한눈에 보기

• 월드 기반 모델(WFM)이 무엇이고, 왜 피지컬 AI의 '데이터 부족'을 푸는 열쇠로 보는지 압니다.
• 2,000만 시간 영상에서 학습용 클립 약 1억 개를 골라내는 데이터 정제 5단계를 설명할 수 있게 됩니다.
• 영상을 압축하는 연속 · 이산 토크나이저의 차이와, 이것이 확산 모델 · 자기회귀 모델 두 계열로 이어지는 이유를 압니다.
• 사전학습한 모델을 카메라 조종 · 로봇 조작 · 자율주행 다시점 영상용으로 사후 학습하는 방법과 결과를 봅니다.

초록 (번역)

피지컬 AI는 먼저 디지털 세계에서 학습해야 합니다. 그러려면 자기 자신의 디지털 쌍둥이인 정책 모델과, 세계의 디지털 쌍둥이인 월드 모델이 필요합니다. 이 논문에서는 개발자가 자신의 피지컬 AI 환경에 맞춘 월드 모델을 만들 수 있도록 돕는 Cosmos 월드 기반 모델 플랫폼을 소개합니다. 우리는 월드 기반 모델을, 미세조정을 거쳐 여러 다운스트림 응용에 맞춘 월드 모델로 바꿀 수 있는 범용 월드 모델로 규정합니다. 플랫폼에는 영상 정제 파이프라인, 사전학습된 월드 기반 모델, 사전학습된 월드 기반 모델의 사후 학습 예제, 영상 토크나이저가 들어 있습니다. 피지컬 AI를 만드는 사람들이 우리 사회의 가장 중요한 문제를 풀 수 있도록, Cosmos를 오픈소스로 공개하고 모델은 관대한 라이선스의 공개 가중치로 제공합니다.

무엇을 풀었나

언어 · 이미지 AI는 데이터와 계산을 키우며 빠르게 발전했지만, 피지컬 AI는 "조금씩만" 나아갔다고 논문은 진단합니다.

1. 데이터가 비쌉니다. 피지컬 AI에 필요한 데이터는 "관찰과 행동이 번갈아 이어진 기록"입니다. 그런데 로봇이 직접 행동하며 모으면 기계나 주변을 망가뜨릴 수 있고, 학습 초기에 탐험이 꼭 필요할 때 특히 위험합니다.
2. 안전하게 연습할 가상 세계가 필요합니다. 그래서 오래전부터 거론된 해법이, 피지컬 AI가 안전하게 상호작용할 수 있는 '물리 세계의 디지털 쌍둥이', 즉 월드 기반 모델(WFM)입니다.
3. 하지만 만들기 어렵습니다. 다양한 물리 현상을 담은 대규모 영상을 고르는 일, 영상을 다룰 만한 크기로 압축하는 일, 큰 모델을 학습시키는 일, 특정 로봇에 맞게 바꾸는 일이 모두 따로 큰 과제입니다.

Cosmos는 이 단계를 하나의 플랫폼으로 묶어 공개하는 것을 목표로 합니다.

핵심 아이디어

123456789flowchart LR
  A[원본 영상 약 2,000만 시간] --> B[정제: 분할 · 필터 · 캡션 · 중복 제거 · 샤딩]
  B --> C[영상 토크나이저: 연속 / 이산 토큰]
  C --> D1[확산 WFM 7B · 14B]
  C --> D2[자기회귀 WFM 4B · 12B]
  D1 --> E[사후 학습: 카메라 · 로봇 · 자율주행]
  D2 --> E
  E --> F[가드레일: 입력 · 출력 차단]
  F --> G[개발자의 피지컬 AI 학습 · 평가]

1. 월드 기반 모델의 정의 — "지금까지 본 것 + 이번 자극 → 다음 장면"

직관: 운전 연습 게임기입니다. 지금까지의 화면과 내가 한 조작을 넣으면, 다음 화면을 그럴듯하게 보여 줍니다.

단계: ① 지금까지의 영상 $x_{0:t}$를 받습니다. ② 이번 '자극(perturbation)' $c_t$를 받습니다 — 로봇의 행동, 무작위 변화, 텍스트 설명 등 무엇이든 됩니다. ③ 다음 순간의 영상 $\hat{x}_{t+1}$을 만듭니다.

왜 '사전학습 → 사후 학습'인가: 다양한 영상으로 학습한 범용 모델(사전학습 WFM)을 먼저 만들고, 특정 로봇 환경에서 모은 '프롬프트-영상' 쌍으로 미세조정해 전용 모델(사후 학습 WFM)을 얻습니다. 기반이 튼튼하니 사후 학습 데이터는 훨씬 적어도 된다는 것이 핵심 논리입니다. 언어 모델의 사전학습 → 미세조정과 같은 구도입니다.

2. 데이터 정제 — "물리를 배울 만한 장면만 고르기"

직관: 영화 2,000만 시간을 그대로 보여 주면 장면 전환 · 자막 · 정지 화면이 섞여 물리를 배우기 어렵습니다. 편집이 끊기지 않은, 움직임이 풍부하고 화질 좋은 구간만 잘라 냅니다.

단계 (논문의 5단계):

1. 분할: 장면 전환을 찾아 한 장면짜리 클립으로 자릅니다. 2초보다 짧으면 버리고, 60초보다 길면 60초로 나눕니다.
2. 필터: 움직임(정지 · 급격한 흔들림 제거), 화질(지각 품질 하위 15% 제거, 미적 점수 3.5 기준), 덧붙인 자막, 영상 종류(추상 패턴 · 게임 화면 · 애니메이션 등 제외) 순서로 거릅니다.
3. 캡션: 시각-언어 모델(VLM)이 256프레임마다 설명을 붙입니다.
4. 중복 제거: 영상 임베딩을 $k=10{,}000$개 묶음으로 군집화한 뒤 묶음 안에서 겹치는 영상을 찾아, 가장 해상도가 높은 것만 남깁니다. 이 단계에서 학습 데이터의 약 30%가 빠집니다.
5. 샤딩: 해상도 · 화면비 · 길이별로 묶어 학습기가 바로 읽게 합니다.

왜 이렇게 했나: "데이터가 모델의 천장을 정한다"는 것이 논문의 입장입니다. 장면이 끊기는 편집 영상을 그대로 쓰면, 모델이 물리적으로 그럴듯한 변화가 아니라 '편집으로 생긴 가짜 전환'을 배우게 됩니다.

숫자로 해 보기(해설용 예): 클립 100개 중 지각 품질 하위 15%를 빼면 85개가 남습니다. 여기서 중복 제거로 30%가 더 빠진다고 단순 계산하면 약 60개가 남습니다. 실제로는 단계마다 기준이 달라 비율이 그대로 곱해지지는 않습니다.

3. 영상 토크나이저 — 영상을 작게 접기

직관: 이삿짐을 압축 팩에 넣듯 영상의 겹치는 정보를 짜내, 모델이 다룰 수 있을 만큼 작은 '토큰'으로 만듭니다. 너무 세게 누르면 디테일이 깨집니다.

단계:

1. 입력 영상을 먼저 2단계 하르(Haar) 웨이블릿 변환으로 가로 · 세로 · 시간 각각 4배 줄입니다. 픽셀의 중복을 미리 걷어 내, 뒤쪽 층이 의미 있는 압축에 집중하게 하려는 설계입니다.
2. 시간 인과(causal) 구조로, 각 단계가 현재와 과거 프레임만 봅니다. 첫 프레임은 따로 하나의 토큰 묶음이 되므로, 이미지 한 장도 같은 네트워크로 토큰화됩니다.
3. 인과 합성곱 · 인과 시공간 어텐션을 거쳐 토큰을 만들고, 디코더가 거꾸로 복원합니다.
4. 연속 토크나이저는 일반 오토인코더(AE)로 16차원 벡터를, 이산 토크나이저는 FSQ(유한 스칼라 양자화)로 정수 번호를 만듭니다.

학습은 두 단계입니다. 1단계는 픽셀 차이(L1)와 VGG-19 특징 차이(지각 손실), 2단계는 광학 흐름 손실(시간적 매끄러움)과 그람 행렬 손실(선명도)을 씁니다. 큰 압축률에서는 적대적 손실로 디테일을 더 살립니다.

왜 VAE · VQ-VAE가 아니라 AE · FSQ인가: 디코더 출력만 감독하고, 잠재 공간에 붙는 보조 손실(VAE의 KL 사전 손실, VQ-VAE의 커밋먼트 손실)을 쓰지 않으려는 선택입니다. 왜 인과 구조인가: 이미지와 영상을 함께 학습할 수 있고(이미지 데이터의 다양성 활용), 미래를 볼 수 없는 실제 피지컬 AI의 조건과도 맞기 때문입니다.

숫자로 해 보기: FSQ 수준이 $(8, 8, 8, 5, 5, 5)$이면 만들 수 있는 번호 수는 $8 \times 8 \times 8 \times 5 \times 5 \times 5 = 512 \times 125 = 64{,}000$개로, 논문의 어휘 크기 64,000과 같습니다. 압축률 $8 \times 8 \times 8$로 720×1280, 121프레임을 접는다고 해 봅시다(해설용 계산). 첫 프레임 1장 + 나머지 120장을 8로 나눈 15장 = 16장, 공간은 $90 \times 160$이 되어 토큰 위치는 $16 \times 90 \times 160 = 230{,}400$개입니다. 원래 픽셀 위치 $121 \times 720 \times 1280$(약 1억 1,150만)과 비교하면 수백 배 줄어듭니다.

4. 확산 기반 WFM — 잡음을 걷어 내며 영상 만들기

직관: 지지직거리는 화면에서 조금씩 잡음을 걷어 내면 영상이 드러납니다. 잡음을 얼마나 섞었는지($\sigma$)를 알려 주고, 원래 영상을 맞히게 학습합니다.

단계:

1. 깨끗한 영상 토큰 $x_0$에 세기 $\sigma$의 가우시안 잡음 $n$을 더합니다.
2. 잡음 제거기 $D_\theta$가 원래 $x_0$를 복원하도록 오차를 줄입니다(EDM 방식).
3. 잡음 세기마다 손실 크기가 달라 학습이 한쪽으로 쏠리므로, 잡음 세기별 '불확실도' $u(\sigma)$를 작은 MLP로 함께 배워 가중치를 자동 조절합니다.
4. 텍스트는 T5-XXL 임베딩을 교차 어텐션으로 넣습니다. 먼저 Text2World(텍스트 → 영상)를 학습하고, 이전 프레임을 조건으로 받는 Video2World로 미세조정합니다.

숫자로 해 보기(해설용 예): 어떤 잡음 세기에서 $\lambda \cdot \mathcal{L} = 0.5$라 합시다. $u=0$이면 그 항은 $0.5 + 0 = 0.5$입니다. $u = \ln 0.5 \approx -0.69$로 두면 $0.5/0.5 - 0.69 = 0.31$로 더 작아집니다. 즉 $u$는 "그 잡음 세기의 손실 크기"에 맞춰 스스로 자리 잡고, 그 결과 각 잡음 세기의 기여가 고르게 맞춰집니다. 불확실한 과제의 가중치는 낮추되, $+u$ 항이 불확실도를 마냥 키우지 못하게 벌점을 줍니다.

그 밖의 설계와 이유:

• 이미지 · 영상 함께 학습: 이미지와 영상 배치를 번갈아 쓰고, 잠재값을 각각 표준화해 두 분포를 맞춥니다. 영상 배치는 프레임끼리 비슷해 손실이 늦게 줄기 때문에, 영상 배치의 잡음 세기를 프레임 수의 제곱근만큼 키웁니다.
• 점진적 학습: 512 해상도 · 57프레임으로 시작해, 720 해상도 · 121프레임으로 넘어갑니다.
• AdaLN-LoRA: 적응형 레이어 정규화 층의 큰 행렬을 저차원으로 쪼개, 7B 모델의 파라미터를 11B에서 7B로 36% 줄이면서 성능은 유지했습니다.
• 프롬프트 업샘플러: 학습 때는 긴 설명문을 썼는데 사용자는 짧게 쓰므로, Mistral-NeMo-12B-Instruct를 미세조정해 짧은 프롬프트를 자세한 설명으로 늘립니다.

5. 자기회귀 기반 WFM — 영상도 다음 토큰 맞히기

직관: 언어 모델이 다음 단어를 맞히듯, 이산 토큰으로 바뀐 영상의 다음 토큰을 맞힙니다.

단계: ① 이산 토크나이저로 영상을 정수 열 $v_1, v_2, \dots$로 바꿉니다. ② 트랜스포머 디코더가 앞 토큰들로 다음 토큰을 예측합니다. ③ 3차원 위치 임베딩(RoPE + 절대 위치), 텍스트 교차 어텐션, 쿼리-키 정규화를 더합니다. ④ 영상만으로 학습한 기본 모델(4B · 12B)에서 텍스트를 받는 Video2World(5B · 13B)를 만듭니다.

숫자로 해 보기(해설용 예): 정답 토큰에 확률 0.25를 주면 $-\log 0.25 \approx 1.39$, 0.8을 주면 $\approx 0.22$입니다.

왜 두 계열을 다 만들었나: 확산은 연속 토큰으로 화질이 좋고, 자기회귀는 LLM과 구조가 같아 키-값 캐시 · 추측 디코딩 같은 LLM 추론 최적화를 그대로 쓸 수 있습니다. 실제로 Medusa 추측 디코딩 머리를 붙이고, 이산 토큰의 흐릿함은 확산 모델을 미세조정한 확산 디코더로 보완합니다.

6. 사후 학습 — 내 로봇에 맞추기

직관: 범용 운전 연습기를 우리 회사 차의 카메라 배치에 맞게 조금 손보는 일입니다.

• 카메라 조종: 카메라 자세를 조건으로 넣어, 이미지 한 장에서 조이스틱처럼 앞 · 뒤 · 좌회전 · 우회전하며 둘러볼 수 있는 3D 세계를 만듭니다(DL3DV-10K로 학습, RealEstate10K로 평가).
• 로봇 조작: ① 지시문 기반 영상 예측(현재 프레임 + 텍스트 지시 → 로봇이 따르는 영상, Cosmos-1X 데이터) ② 행동 기반 다음 프레임 예측(현재 프레임 + 행동 벡터 → 다음 프레임, Bridge 데이터). 행동은 사전학습에 없던 입력이라 행동 임베딩 MLP를 새로 붙입니다.
• 자율주행: 카메라 6대의 영상을 동시에 만드는 다시점 모델. 시점마다 따로 위치 임베딩을 쓰고 시점 임베딩을 더하며, 텍스트 교차 어텐션은 시점별 설명만 보게 합니다. 0.1초 간격 64개 점으로 된 미래 궤적을 조건으로 줄 수도 있습니다.

결과

학습 규모: 논문의 모든 WFM을 NVIDIA H100 GPU 10,000개 클러스터에서 3개월에 걸쳐 학습했습니다. 원본 영상은 약 2,000만 시간(720p~4K), 이로부터 2~60초 클립 약 1억 개를 뽑았습니다.

토크나이저 (DAVIS · TokenBench)

• 기존 토크나이저 대비 DAVIS에서 재구성 PSNR이 +4dB 좋아진 경우가 있고, 최대 12배 빠르며, 80GB A100 한 장에서 1080p 8초 · 720p 10초 영상을 메모리 부족 없이 한 번에 인코딩한다고 보고합니다.
• 2배 · 8배 더 센 압축(8×8×8, 8×16×16)에서도 기존 방법보다 품질이 좋았다고 밝힙니다.

3D 일관성 (RealEstate10K 500개 영상, 정적 장면)

물리 정합성: PhysX · Isaac Sim으로 낙하 · 경사면 · 도미노 · 시소 · 팽이 등 8가지 시나리오, 1080p 100프레임 영상 800개를 만들어 비교했습니다. 조건 프레임이 많을수록(1장보다 9장) 움직임을 더 잘 맞혔고, 9프레임 조건에서는 확산 모델이 자기회귀 모델보다 픽셀 수준 예측이 나았습니다. 다만 모델이 클수록 물리 정합성이 좋아진다는 결과는 나오지 않았습니다.

로봇 조작 사후 학습

• 지시문 기반 영상 예측(사람 평가자 10명, 23개 에피소드): 7B 모델이 전체 선호도 78.3%, 기준선 VideoLDM-Instruction이 13.0%였습니다.
• 행동 기반 다음 프레임 예측(Bridge 테스트 100개 에피소드):

자율주행 사후 학습: 사내 RDS 데이터(6방향 카메라 20초 클립 약 360만 개, 약 2만 시간)로 학습했습니다. 궤적 조건 모델의 궤적 추종 오차는 실제 영상 기준(오라클)보다 7cm 미만 덜 정확한 수준이었고, 생성 영상 20개 속 물체 157개 중 물리적으로 불가능한 장면(서로 다른 물체가 하나로 합쳐지는 등)을 보인 것은 없었습니다.

자기회귀 모델: 9프레임 영상 조건에서는 모든 모델의 실패율이 2% 미만이었습니다. 저해상도에 맞춘 4B 모델은 H100 8장에서 10프레임을 1초 안에 만들어, 10FPS 실시간 생성이 가능함을 보였습니다.

왜 중요한가 · 이후 영향

• 월드 모델을 '플랫폼'으로 공개했습니다. 데이터 정제 도구부터 토크나이저, 사전학습 모델, 사후 학습 예제, 가드레일까지 한 번에 내놓아, 각 회사가 자기 로봇 · 차량에 맞춘 월드 모델을 만드는 출발점을 제공합니다. 모델과 토크나이저는 NVIDIA Open Model License로 공개했습니다.
• 사전학습 → 사후 학습 틀을 피지컬 AI에 옮겼습니다. 적은 로봇 데이터로도 기반 모델을 특화할 수 있다는 것을 카메라 · 로봇 · 자율주행 세 영역에서 예시로 보였습니다.
• 평가 도구를 함께 냈습니다. 피지컬 AI 영상용 토크나이저 벤치마크 TokenBench, 시뮬레이터 기반 물리 정합성 평가 방식을 제시해, 월드 모델을 "보기 좋은 영상"이 아니라 "물리를 지키는가"로 재려는 시도를 했습니다.
• 같은 트랙의 흐름과 이어집니다. 라벨 없는 영상에서 행동을 찾는 Genie, 로봇 기반 모델 GR00T N1 같은 연구와 함께, "가상 세계에서 먼저 배우는 피지컬 AI"라는 방향을 넓힙니다.

한계 · 주의할 점

• 아직 믿을 만한 물리 시뮬레이터가 아닙니다. 논문 스스로 물체 영속성 부족(물체가 갑자기 생기거나 사라짐), 접촉이 많은 동역학의 부정확함, 지시 따르기의 불일치를 한계로 듭니다. 영상이 사실적이어도 중력 · 빛 · 유체 같은 물리 법칙을 지킨다는 보장은 없습니다.
• 평가가 어렵습니다. 사람이 물리적 충실도를 평가하는 기준을 세우기 어렵고 주관이 섞이며, 자동 지표와도 잘 맞지 않을 수 있다고 밝힙니다.
• '-Sample' 모델은 예시일 뿐입니다. 사후 학습 모델 이름에 붙인 Sample은 완성된 시스템이나 제품용이 아니라는 뜻이고, 개발자가 자기 데이터로 다시 미세조정해야 합니다.
• 자기회귀 모델의 실패 사례: 물체가 화면 아래에서 갑자기 나타나는 현상이 있고, 작은 모델일수록 단일 프레임 조건에서 더 자주 깨졌습니다.
• '미래 활용'은 아직 실험 전입니다. 정책 평가 · 정책 초기화 · 정책 학습 · 계획(모델 예측 제어) · 합성 데이터 생성 등 WFM의 쓰임새를 나열하지만, 이 논문에는 그에 대한 실험 결과가 없다고 스스로 밝힙니다.
• 데이터 일부가 비공개입니다. 학습 영상에는 자체 보유 데이터가 섞여 있고, 자율주행 RDS 데이터도 사내 데이터입니다.

이어서 읽을 것

• 앞: 잡음 제거 확산 확률 모델 (DDPM) · 월드 모델 · Genie · DreamerV3
• 함께: GR00T N1 — 같은 회사의 휴머노이드 로봇 기반 모델 · Open X-Embodiment — 여러 로봇 데이터 모으기
• 로봇 정책 쪽: OpenVLA · π0 · Octo
• 기법 배경: LoRA · 추측 디코딩

용어 정리

스스로 점검

1. 피지컬 AI가 언어 AI보다 데이터를 늘리기 어려운 이유는? — 관찰과 행동이 번갈아 담긴 데이터가 필요한데, 실제로 행동하며 모으면 기계와 주변을 망가뜨릴 위험이 있기 때문입니다. 그래서 안전한 디지털 쌍둥이(WFM)가 필요합니다.
2. 토크나이저를 시간 인과 구조로 만든 두 가지 이점은? — 이미지 한 장도 같은 네트워크로 처리돼 이미지 · 영상을 함께 학습할 수 있고, 미래를 볼 수 없는 실제 피지컬 AI 환경과 맞습니다.
3. 확산 계열과 자기회귀 계열을 모두 만든 이유는? — 확산은 연속 토큰으로 화질이 좋고, 자기회귀는 LLM과 구조가 같아 LLM 추론 최적화(캐시 · 추측 디코딩)를 쓸 수 있어 실시간 생성에 유리합니다. 자기회귀의 흐릿함은 확산 디코더로 보완합니다.

다음에 볼 것

이 트랙의 마지막 항목입니다.

• 중간 점검: 생성 모델 · 음성 · 그래프 · 시계열 · 해석 가능성 · 안전 · MLOps · 피지컬 AI 15문제 — 피지컬 AI 수업(센서 · 제어 · VLA)을 포함한 응용 트랙 점검 문제
• 처음부터 다시 훑으려면 전체 학습 경로를 보세요.
• 종합 점검: AI 기초 전 과정 40문제 — 과정의 마지막 시험입니다

출처

• 원문: arxiv.org/abs/2501.03575 (2025 · NVIDIA, Niket Agarwal 외)