Genie: 생성형 상호작용 환경

Genie: 생성형 상호작용 환경

행동 라벨이 전혀 없는 인터넷 게임 영상만으로, 그림 한 장을 넣으면 "직접 조종할 수 있는 게임 세계"를 한 프레임씩 만들어 내는 110억(11B) 파라미터 모델입니다. 행동을 스스로 발견하는 '잠재 행동' 덕분에, 라벨 없는 영상을 로봇 · 에이전트 학습 데이터로 바꿀 길을 보여 줍니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 월드 모델로 여러 분야 정복하기 (DreamerV3) — 하이퍼파라미터 하나로 150여 과제를 푼 월드 모델 RL, 마인크래프트 다이아몬드 첫 성공
• 어텐션만 있으면 된다 (트랜스포머) — 순환 없이 어텐션만으로 번역 모델을 만든 트랜스포머 — 스케일드 닷-프로덕트 · 멀티헤드 어텐션 · 위치 인코딩의 수식과 의미

한눈에 보기

• "월드 모델(world model)은 행동 라벨이 있어야 배운다"는 상식을 깨고, 영상만으로 조종 가능한 환경을 배우는 방법을 압니다.
• 세 부품 — 영상 토크나이저 · 잠재 행동 모델 · 동역학 모델 — 이 각각 무엇을 하고 어떻게 맞물리는지 설명할 수 있게 됩니다.
• 영상 트랜스포머의 메모리 문제를 시공간(ST) 트랜스포머가 어떻게 줄이는지 숫자로 이해합니다.
• 인터넷 영상에서 배운 잠재 행동으로, 처음 보는 게임의 전문가 영상을 흉내 내는 에이전트를 만들 수 있다는 점을 압니다.

초록 (번역)

라벨이 없는 인터넷 영상으로 비지도 방식으로 학습한 최초의 생성형 상호작용 환경, Genie를 소개합니다. 이 모델은 텍스트, 합성 이미지, 사진, 심지어 스케치로 묘사한 내용을 프롬프트로 받아, 행동으로 조종할 수 있는 가상 세계를 끝없이 다양하게 만들어 냅니다. 파라미터가 110억 개인 Genie는 기반 월드 모델(foundation world model)로 볼 수 있습니다. Genie는 시공간 영상 토크나이저, 자기회귀 동역학 모델, 그리고 단순하고 확장성 있는 잠재 행동 모델로 이루어집니다. 월드 모델 연구에서 흔히 필요한 실제 행동 라벨이나 다른 분야별 요구 조건 없이 학습했는데도, 사용자는 생성된 환경 안에서 프레임 단위로 행동할 수 있습니다. 또한 이렇게 학습한 잠재 행동 공간은 처음 보는 영상 속 행동을 흉내 내는 에이전트 학습을 도와, 앞으로의 범용 에이전트를 학습시킬 길을 엽니다.

무엇을 풀었나

월드 모델은 "지금 화면 + 내가 누른 버튼 → 다음 화면"을 예측하는 모델입니다. 에이전트가 머릿속에서 미리 연습할 수 있게 해 줘서 강화학습과 로봇 학습에 쓸모가 큽니다. 문제는 학습 데이터였습니다.

1. 행동 라벨이 필요했습니다. 기존 월드 모델은 영상과 함께 "그때 어떤 버튼을 눌렀는지"가 있어야 했습니다. 인터넷에 영상은 넘치지만, 그런 라벨은 거의 없고 붙이려면 비쌉니다.
2. 영상 생성 모델은 조종이 안 됐습니다. 텍스트로 영상을 만드는 모델은 영상 전체를 한 번에 정할 뿐, 매 프레임마다 "이제 점프"처럼 끼어들 수 없었습니다.
3. 영상은 토큰이 너무 많습니다. 영상 한 묶음이 최대 $10^4$개 정도의 토큰이 될 수 있어, 모든 토큰끼리 어텐션하는 보통 트랜스포머는 메모리가 감당하지 못합니다.

논문은 이를 표로 정리합니다. 월드 모델은 '영상 + 행동'으로 배워 프레임 단위 조종이 되고, 영상 모델은 '영상 + 텍스트'로 배워 영상 단위 조종만 됩니다. Genie는 영상만으로 배우면서 프레임 단위 조종을 노립니다.

핵심 아이디어

12345678flowchart LR
  A[프롬프트 이미지 1장] --> B[영상 토크나이저: 이산 토큰]
  U[사용자가 고른 행동 번호 0~7] --> C[잠재 행동 코드북에서 벡터 꺼내기]
  B --> D[동역학 모델: MaskGIT로 다음 프레임 토큰 예측]
  C --> D
  D --> E[토크나이저 디코더: 프레임 그리기]
  E --> F[다음 행동 입력]
  F --> D

학습은 두 단계입니다. 먼저 영상 토크나이저를 학습하고, 그다음 잠재 행동 모델(픽셀 입력)과 동역학 모델(토큰 입력)을 함께 학습합니다.

1. 시공간(ST) 트랜스포머 — 영상용 가벼운 어텐션

직관: 반 학생 전원이 서로 다 이야기하게 하면 시끄럽습니다. 대신 "같은 시간대 학생끼리 한 번", "같은 자리 학생이 시간을 따라 한 번" 이야기하게 하면 대화 수가 크게 줄어듭니다(해설용 비유).

단계:

1. 영상을 시간 $T$장 × 각 장 $H \times W$개의 토큰으로 나눕니다.
2. 공간 층: 같은 시점의 $H \times W$개 토큰끼리만 어텐션합니다.
3. 시간 층: 같은 위치의 토큰이 $T$개 시점을 따라 어텐션합니다. 미래를 못 보도록 인과 마스크(causal mask)를 씁니다.
4. 이런 블록을 $L$개 쌓습니다. 논문은 공간 층 뒤의 피드포워드(FFW)를 빼고 공간 · 시간 층 뒤에 FFW 하나만 두었는데, 아낀 용량을 다른 부분을 키우는 데 써서 결과가 크게 좋아졌다고 합니다.

어텐션 비용을 비교하면 다음과 같습니다(설명용으로 단순화한 식).

숫자로 해 보기(해설용 예): 프레임 16장, 장당 토큰 100개라 합시다. 보통 어텐션은 $(1600)^2 = 2{,}560{,}000$쌍을 봅니다. ST 방식은 공간 $16 \times 100^2 = 160{,}000$쌍 + 시간 $100 \times 16^2 = 25{,}600$쌍, 합쳐 약 18만 쌍입니다. 열 배 넘게 줄어듭니다.

왜 이렇게 했나: 가장 비싼 공간 어텐션이 프레임 수에 대해 선형으로만 늘어나므로, 긴 상호작용에서도 일관된 움직임을 만들기에 효율적입니다. 시간축 정보도 함께 담는 기존 토크나이저 C-ViViT는 비용이 프레임 수의 제곱으로 늘어난다고 논문은 비교합니다.

2. 영상 토크나이저 (ST-ViViT) — 영상을 단어처럼

직관: 그림을 레고 블록 1,024종류 중 하나씩으로 바꿔 끼우면, 영상이 "블록 번호의 나열"이 됩니다. 그러면 언어 모델처럼 다음 번호를 맞히는 문제로 바뀝니다.

단계: ① 프레임을 $4 \times 4$ 픽셀 조각(patch)으로 자릅니다. ② ST 트랜스포머 인코더로 각 조각을 벡터로 바꿉니다. ③ 코드북의 1,024개 벡터 중 가장 가까운 것의 번호로 바꿉니다(VQ-VAE). ④ 디코더가 번호에서 다시 프레임을 그립니다.

VQ의 핵심은 "가장 가까운 코드 고르기"입니다(VQ-VAE의 표준 형태).

숫자로 해 보기(해설용 예): 2차원으로 줄여, 코드가 $c_0=(0,0)$, $c_1=(1,1)$, $c_2=(2,0)$이고 $e(x)=(1.8, 0.3)$이라 합시다. 거리 제곱은 각각 $3.33$, $1.13$, $0.13$이므로 토큰은 $z=2$입니다.

왜 시공간 토크나이저인가: 공간만 압축하는 기존 방식과 달리, 인코더 · 디코더 모두에 ST 트랜스포머를 써서 토큰에 시간 흐름이 담깁니다. 인과 구조라서 각 토큰은 그때까지 본 모든 프레임의 정보를 품습니다.

3. 잠재 행동 모델 (LAM) — 버튼을 스스로 발견하기

직관: 게임 영상만 보고 "두 화면 사이에 무슨 버튼을 눌렀을까?"를 추측합니다. 정답 라벨은 없지만, "그 버튼 정보만 있으면 다음 화면을 맞힐 수 있는가"를 기준으로 배웁니다.

단계:

1. 인코더가 지난 프레임들 $x_{1:t}$와 다음 프레임 $x_{t+1}$을 보고 연속 벡터 $\tilde{a}_t$를 만듭니다.
2. 이를 8개뿐인 코드북 중 가장 가까운 코드로 바꿉니다(VQ).
3. 디코더는 지난 프레임들과 이 행동 코드만 보고 $x_{t+1}$을 다시 그려야 합니다.
4. 디코더가 미래 프레임을 직접 못 보니, 행동 코드에는 "과거와 미래 사이의 가장 의미 있는 변화"가 담기게 됩니다.

(논문 설명을 식으로 옮긴 단순화)

왜 8개인가: 코드 수 $|A|$를 작게 해야 사람이 조종할 수 있고 조종 가능성도 강해집니다. 부록에 따르면 코드 수를 늘리면 이점이 있었지만, 사람 · AI 에이전트가 조종하기는 어려워졌습니다.

왜 픽셀을 입력으로 쓰나: 토큰을 입력으로 쓰는 변형과 비교했더니, 토큰 입력은 조종 가능성이 더 낮았습니다. 토큰화 과정에서 움직임 정보가 일부 사라지는 것으로 보입니다.

추론 때는? 코드북만 남기고 LAM 전체를 버립니다. 사용자가 0~7 중 번호를 고르면 그 코드 벡터가 행동으로 들어갑니다. 처음에는 번호의 뜻을 모르지만, 같은 번호는 다른 그림에서도 같은 뜻(왼쪽 · 오른쪽 · 점프 등)으로 일관돼서, 새 게임기의 버튼을 익히듯 배우면 된다고 논문은 설명합니다.

4. 동역학 모델 — 다음 프레임 맞히기 (MaskGIT)

직관: 빈칸 채우기 퍼즐입니다. 다음 프레임의 토큰 일부를 가려 두고, 지난 프레임과 행동을 힌트로 가린 칸을 맞힙니다.

단계:

1. 지난 프레임 토큰 $z_{1:t-1}$과 잠재 행동 $\tilde{a}_{1:t-1}$(기울기는 막음, stopgrad)을 받습니다.
2. 학습 때는 입력 토큰을 베르누이 분포로 가리는데, 가리는 비율을 0.5~1 사이에서 고르게 뽑습니다.
3. 예측 토큰과 정답 토큰 사이 교차 엔트로피(cross-entropy)를 줄입니다.
4. 행동은 프레임에 이어 붙이지 않고 더하는 임베딩(additive embedding)으로 넣습니다.

(설명용으로 단순화한 교차 엔트로피)

숫자로 해 보기(해설용 예): 정답 토큰에 모델이 확률 0.5를 주면 손실은 $-\log 0.5 \approx 0.69$, 확률 0.9를 주면 $\approx 0.11$입니다. 맞힐수록 손실이 0에 가까워집니다.

왜 더하는 임베딩인가: 월드 모델에서는 흔히 행동을 프레임 옆에 이어 붙입니다. Genie는 잠재 행동을 더하는 임베딩으로 넣었을 때 조종 가능성이 더 좋아졌다고 보고합니다. 추론 때는 프레임마다 MaskGIT 25단계, 온도 2로 무작위 샘플링합니다.

5. 조종 가능성 지표 ΔPSNR

직관: "진짜 행동대로 만든 영상"과 "아무 행동이나 넣은 영상"이 많이 다를수록, 행동이 영상을 실제로 움직인다는 뜻입니다.

숫자로 해 보기(해설용 예): $\mathrm{PSNR}(x_t,\hat{x}_t)=30$, $\mathrm{PSNR}(x_t,\hat{x}'_t)=28$이면 $\Delta\mathrm{PSNR}=2$입니다. 행동을 바꾸니 결과가 실제와 더 멀어졌다는 뜻이라, 클수록 조종 가능성이 높습니다. 논문은 모두 $t=4$에서 보고합니다.

결과

데이터 · 모델 규모 (논문 수치)

규모 키우기: 동역학 모델을 4천만(40M)~27억(2.7B) 파라미터로 키울수록 최종 학습 손실이 꾸준히 내려갔습니다. 23억(2.3B) 모델에서 배치를 128 · 256 · 448(토큰 190만 · 380만 · 660만)으로 키워도 성능이 좋아졌습니다.

데이터 정제 효과: 같은 5.8억(580M) 모델에서 원본(5,500만 영상)은 FVD 61.4, 정제본(680만 영상)은 FVD 54.8로, 적지만 깨끗한 데이터가 더 나았습니다(FVD는 낮을수록 좋음).

토크나이저 비교 (FVD 낮을수록, ΔPSNR 높을수록 좋음)

잠재 행동 모델 입력 비교: 플랫포머에서 토큰 입력은 FVD 38.8 · ΔPSNR 1.33, 픽셀 입력(Genie)은 FVD 40.1 · ΔPSNR 1.91이었습니다. 로봇 데이터에서는 토큰 입력 FVD 257.8 · ΔPSNR 1.65, 픽셀 입력 FVD 136.4 · ΔPSNR 2.07로 픽셀 입력이 둘 다 앞섰습니다.

질적 결과: 텍스트-이미지 모델(Imagen2)이 만든 그림, 손 스케치, 실제 사진처럼 학습 분포 밖의 프롬프트로도 게임처럼 움직이는 세계를 만들었습니다. 과자 봉지 같은 변형되는 물체의 성질, 플랫포머 게임의 시차(parallax) 효과도 흉내 냈습니다.

로봇: RT-1 로봇 데이터(행동 라벨 없이 영상만 사용)로 25억(2.5B) 모델을 학습해 테스트 FVD 82.7을 얻었고, 라벨 없이도 '아래 · 위 · 왼쪽'처럼 일관된 행동을 배웠습니다.

에이전트 학습: 인터넷 영상으로 배운 LAM을 얼려 두고, 처음 보는 CoinRun 게임의 전문가 영상에 잠재 행동 라벨을 붙여 정책을 학습했습니다. 잠재 → 실제 행동 대응은 작은 데이터로 맞췄는데, 전문가 표본 200개만으로 실제 행동을 다 아는 오라클 행동 복제와 같은 점수를 냈습니다.

왜 중요한가 · 이후 영향

• 라벨 없는 영상이 월드 모델의 재료가 됩니다. 행동 라벨이 병목이던 문제를 '잠재 행동'으로 돌아가, 인터넷 규모 영상을 그대로 쓸 길을 보였습니다.
• 피지컬 AI와 연결됩니다. 로봇 영상에서도 같은 방식이 통해서, 저수준 조작까지 흉내 내는 로봇용 기반 월드 모델의 가능성을 논문이 직접 제시합니다.
• 에이전트 학습 데이터를 무한히 만들 가능성: 프롬프트 한 장으로 새 환경을 만들 수 있으니, 범용 에이전트를 끝없는 환경에서 학습시키는 방향(개방형 학습)과 이어집니다.
• 규모의 법칙이 월드 모델에도 통합니다: 모델과 배치를 키울수록 꾸준히 좋아지는 경향을 보였습니다.

한계 · 주의할 점

• 헛된 미래를 그릴 수 있습니다. 자기회귀 트랜스포머의 약점을 물려받아 비현실적인 장면을 만들기도 합니다.
• 기억이 16프레임뿐입니다. 긴 시간 동안 일관된 환경을 유지하기 어렵습니다.
• 느립니다. 현재 약 1FPS로 동작해, 실제로 놀 만한 속도가 되려면 더 발전해야 합니다.
• 공개되지 않았습니다. 학습한 체크포인트, 학습 데이터, 그 예시를 공개하지 않았습니다. 대신 부록에 CoinRun으로 단일 중급 TPU/GPU에서 일주일 안에 학습할 수 있는 작은 재현 예제를 실었습니다.
• 평가가 대부분 2D 플랫포머입니다. 로봇 결과는 RT-1 데이터 한 곳이고, 실제 로봇 제어로 이어 붙인 실험은 없습니다.

이어서 읽을 것

• 앞: 월드 모델 · Dreamer · 이미지는 16x16 단어다 (ViT) · 변분 오토인코더
• 함께: DreamerV3 — 행동 라벨이 있는 월드 모델로 여러 분야 정복
• 뒤: Cosmos 월드 기반 모델 플랫폼 · Open X-Embodiment · GR00T N1 — 잠재 행동을 로봇 학습에 쓰는 흐름

용어 정리

스스로 점검

1. 잠재 행동 모델의 디코더가 미래 프레임을 직접 보지 못하게 한 이유는? — 그래야 미래를 복원하는 데 필요한 정보가 행동 코드에 담기도록 강제되기 때문입니다. 디코더가 미래를 볼 수 있으면 행동 코드가 쓸모없어집니다.
2. 코드북을 8개처럼 작게 둔 장단점은? — 사람이 조종하기 쉽고 행동 뜻이 일관되지만, 표현할 수 있는 행동 종류는 줄어듭니다. 논문도 코드를 늘리면 이점이 있으나 조종성이 떨어졌다고 밝힙니다.
3. ST 트랜스포머가 보통 어텐션보다 싼 이유는? — 모든 토큰 쌍 대신 같은 시점 안(공간)과 같은 위치의 시간축(시간)만 보므로, 가장 비싼 공간 부분이 프레임 수에 선형으로만 늘어납니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• Cosmos: 피지컬 AI를 위한 월드 기반 모델 플랫폼 — NVIDIA의 피지컬 AI용 월드 모델 플랫폼 — 데이터 정제 · 토크나이저 · 확산/자기회귀 WFM 공개

출처

• 원문: arxiv.org/abs/2402.15391 (2024 · Jake Bruce 외)