PaLM-E: 몸을 가진 멀티모달 언어 모델

PaLM-E: 몸을 가진 멀티모달 언어 모델

카메라 영상 · 물체 상태 같은 연속적인 센서 입력을 단어 임베딩과 같은 공간의 벡터로 바꿔, 언어 모델 문장 사이에 끼워 넣었습니다. 그 결과 하나의 모델(PaLM-E)이 로봇 세 종류의 계획 · 질의응답을 하면서 일반 시각-언어 과제에서도 강했고, 여러 과제를 섞어 학습할수록 로봇 과제 성능이 오르는 "양의 전이"를 보였습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• RT-1: 실제 로봇 제어를 위한 로보틱스 트랜스포머 — 시연 13만 건으로 학습한 트랜스포머가 700여 개 지시를 97%로 수행하고 새 상황에도 일반화합니다
• 이미지는 16x16 단어다 (비전 트랜스포머) — 이미지를 16×16 패치 토큰으로 잘라 표준 트랜스포머로 분류한 비전 트랜스포머(ViT)

한눈에 보기

• 텍스트만 받는 LLM을 로봇에 쓸 때 왜 장면의 기하 정보를 놓치는지 압니다.
• 이미지 · 상태 벡터를 단어 임베딩과 같은 차원의 벡터로 바꿔 문장 속에 끼워 넣는 "멀티모달 문장"을 식과 숫자로 이해합니다.
• 상태 벡터 · ViT · 물체 중심 표현 · OSRT 등 입력 인코더의 차이와, 물체를 가리키는 <obj j> 토큰의 역할을 압니다.
• 로봇 데이터가 8.9%뿐인 혼합 데이터로 함께 학습하면 왜 로봇 과제 성능이 크게 오르는지(전이) 결과로 확인합니다.
• 모델을 키울수록 언어 능력을 덜 잊는다는 결과(12B 87.3% 하락 대 562B 3.9% 하락)를 압니다.

초록 (번역)

대형 언어 모델은 폭넓은 복잡한 과제에서 뛰어난 성능을 보입니다. 그러나 로봇 문제처럼 현실 세계에서 범용 추론을 가능하게 하려면 그라운딩(grounding)이라는 과제가 생깁니다. 우리는 현실 세계의 연속적인 센서 모달리티를 언어 모델에 직접 통합해 단어와 지각 사이의 연결을 세우는, 몸을 가진 언어 모델(embodied language model)을 제안합니다. 이 몸을 가진 언어 모델의 입력은 시각, 연속적인 상태 추정, 텍스트 입력의 인코딩이 서로 끼워 넣어진 멀티모달 문장입니다. 우리는 이 인코딩들을 사전학습된 대형 언어 모델과 함께 끝에서 끝까지 학습시키며, 순차적 로봇 조작 계획, 시각 질의응답, 캡셔닝을 포함한 여러 몸을 가진 과제를 대상으로 합니다. 평가 결과, 하나의 대형 몸을 가진 멀티모달 모델인 PaLM-E는 다양한 관측 모달리티로부터, 여러 형태의 몸(embodiment)에서, 다양한 몸을 가진 추론 과제를 다룰 수 있으며, 나아가 양의 전이를 보입니다. 즉 이 모델은 인터넷 규모의 언어, 시각, 시각-언어 영역에 걸친 다양한 공동 학습으로부터 이득을 얻습니다. 우리의 가장 큰 모델인 5,620억 파라미터의 PaLM-E-562B는 로봇 과제로 학습됐을 뿐 아니라, OK-VQA에서 최고 성능을 내는 시각-언어 범용 모델이며, 규모가 커질수록 범용 언어 능력을 유지합니다.

무엇을 풀었나

LLM은 대화 · 단계별 추론 · 수학 · 코드 작성까지 잘하지만, 현실 세계에서 쓰려면 그라운딩이 문제입니다. 텍스트로만 배운 표현을 실제 카메라 영상 · 센서 값과 이어야 합니다.

이전 연구 SayCan은 LLM의 출력을 학습된 로봇 정책 · 어포던스 함수와 연결했습니다. 하지만 LLM 자체는 텍스트만 입력받습니다. 블록이 어디에 어떻게 쌓였는지 같은 장면의 기하 구성이 중요한 과제에서는 이것으로 부족합니다.

그렇다면 이미 이미지를 보는 시각-언어 모델(VLM)을 쓰면 될까요? 논문은 VQA · 캡셔닝으로 학습한 당시 최고 VLM(PaLI)도 로봇 추론 과제를 바로 풀지 못한다는 것을 실험으로 보입니다.

이 논문의 질문은 이것입니다. 센서 입력을 언어 모델 안으로 직접 넣고, 로봇 데이터와 인터넷 데이터를 함께 학습하면, 하나의 모델이 로봇 추론과 일반 시각-언어 과제를 모두 잘할 수 있을까?

핵심 아이디어

1. 출발점 — 디코더 전용 LLM과 접두사

한 문장 직관: 문장 앞부분(접두사)을 주면 뒷부분을 한 단어씩 이어 쓰는 자동 완성입니다(해설용 비유).

단계별 설명

1. 텍스트를 토큰 열 $w_{1:L}$로 봅니다.
2. 디코더 전용 LLM은 앞 토큰들을 보고 다음 토큰의 확률을 냅니다. 전체 확률은 그 곱입니다.
3. 접두사(프롬프트) $w_{1:n}$을 주면, 구조를 바꾸지 않고도 그 뒤의 토큰만 이어서 예측할 수 있습니다.
4. 토큰은 크기 $|\mathcal{W}|$의 고정 어휘에 속하며, 임베딩 함수 $\gamma$가 각 토큰을 $k$차원 벡터로 바꿉니다. PaLM에서는 $|\mathcal{W}| = 256{,}000$입니다.

수식 (논문 식 1 · 2)

기호 풀이

숫자로 해 보기 (해설용 예 — 논문 수치 아님)

접두사 "블록을"($n=1$) 뒤에 "옮겨"(확률 0.5), "줘"(확률 0.8)가 이어질 확률은

접두사가 길어져도 계산 방식은 같습니다. PaLM-E는 이 접두사 자리에 이미지 벡터를 넣는 것이 핵심입니다.

2. 멀티모달 문장 — 이미지를 "단어처럼" 끼워 넣기

한 문장 직관: 외국어 문장에 사진을 붙이는 대신, 사진을 그 언어의 "단어 몇 개"로 번역해 문장 중간에 끼워 넣는 것입니다(해설용 비유).

단계별 설명

1. 관측(이미지, 상태 벡터 등) $O_j$를 인코더 $\phi_j$에 넣어 $q$개의 벡터로 바꿉니다. 각 벡터는 단어 임베딩과 같은 $k$차원입니다.
2. 텍스트 속 특수 토큰(예: <img>) 자리를 이 벡터들로 바꿉니다. 예: Q: What happened between <img_1> and <img_2>?
3. 이 벡터 열이 LLM의 접두사가 됩니다. LLM은 이미지 벡터를 단어 벡터와 똑같이 셀프 어텐션으로 처리합니다.
4. 이미지 하나는 보통 여러 벡터가 됩니다. 위치는 고정이 아니라 문장 속 원하는 곳에 둘 수 있고, LLM의 기존 위치 인코딩을 그대로 씁니다.
5. 출력은 텍스트입니다. 질문의 답이거나, 로봇이 실행할 결정(계획 단계)의 문장입니다.

수식 (논문 식 3)

기호 풀이

숫자로 해 보기 (해설용 예)

이미지 하나가 $q = 3$개 벡터가 된다고 하고, 문장을 "Q", "사이", <img_1>, "와", <img_2>, "?"라 합시다.

1. 텍스트 토큰 4개("Q", "사이", "와", "?") → $\gamma$로 4개 벡터
2. 이미지 2개 → 각 3개, 합 6개 벡터
3. LLM이 보는 입력 길이는 $4 + 6 = 10$개 벡터입니다. 순서는 "Q", "사이", 이미지1 벡터 3개, "와", 이미지2 벡터 3개, "?"입니다.

왜 이렇게 했나

Flamingo처럼 이미지 하나에 별도 어텐션 장치를 다는 방식과 달리, 이미지를 "문장 속 벡터"로 다루면 이미지 여러 장을 문장 어디에나 자유롭게 넣을 수 있습니다. 논문은 단일 이미지 예시로만 학습한 PaLM-E-562B가 여러 이미지 질문에 제로샷으로 답하는 사례를 보여 줍니다. 또 LLM 구조를 바꾸지 않으므로 사전학습된 LLM을 그대로 씁니다.

3. 입력 인코더 — 무엇으로 장면을 표현하나

한 문장 직관: 같은 장면을 "숫자 표", "사진", "물체별 오려 낸 사진", "3D로 이해한 물체 목록" 중 무엇으로 넘길지 고르는 문제입니다(해설용 비유).

단계별 설명

1. 상태 벡터: 물체의 자세 · 크기 · 색 등을 담은 벡터 $s \in \mathbb{R}^S$를 MLP $\phi_{\text{state}}$로 임베딩 공간에 보냅니다. 가장 단순합니다.
2. ViT: 이미지 $I$를 토큰 임베딩 $m$개로 바꾸는 $\tilde\phi_{\text{ViT}}$를 씁니다. 40억 파라미터 ViT-4B, 220억 파라미터 ViT-22B(둘 다 이미지 분류로 사전학습), 처음부터 학습하는 ViT + TokenLearner(ViT + TL)를 비교합니다. ViT 임베딩 차원 $\tilde k$는 LLM과 다를 수 있어 학습되는 아핀 변환 $\psi$로 맞춥니다.
3. 물체 중심 표현: 정답 물체 마스크 $M_j$가 있으면 물체마다 ViT를 따로 적용해 물체별 벡터를 만듭니다.
4. OSRT: 정답 분할 없이, 새 시점 합성 과제로 3D 장면 표현을 학습해 물체를 비지도로 발견합니다. 물체 슬롯 $o_j$를 MLP $\psi$로 여러 개($m$개) 임베딩으로 바꿉니다.
5. 물체 지칭(entity referral): 같은 색 블록이 여러 개라면 말로 구분하기 어렵습니다. 그래서 프롬프트에 Object 1 is <obj_1>. ... Object j is <obj_j>.처럼 라벨을 붙여, PaLM-E가 출력 계획에서 obj_j로 물체를 가리키게 합니다.

수식 (논문 4절)

기호 풀이

• $\tilde\phi_{\text{ViT}}(I) \in \mathbb{R}^{m \times \tilde k}$: ViT가 낸 토큰 $m$개(각 $\tilde k$차원)
• $\psi$: $\tilde k$차원을 LLM의 $k$차원으로 바꾸는 학습 가능한 변환
• $M_j \circ I$: 이미지에서 물체 $j$의 마스크 부분만 남긴 것
• $I_{1:v}$: OSRT에 들어가는 여러 시점 이미지, $\bar\phi_{\text{OSRT}}(\cdot)_j$: $j$번째 물체 슬롯

숫자로 해 보기 (해설용 예)

ViT 토큰 하나가 $\tilde k = 2$차원 $(1, 2)$이고 LLM 임베딩이 $k = 3$차원이라 합시다. 아핀 변환 $\psi(v) = Av + b$에서

이면 $\psi(1,2) = (1,\ 2,\ 1+2+0.5) = (1, 2, 3.5)$입니다. 이제 이 벡터는 단어 임베딩과 같은 3차원 공간에 놓여 LLM에 들어갈 수 있습니다. 실제 차원은 수천 단위이지만 원리는 같습니다.

왜 이렇게 했나

ViT 표현은 의미는 담지만 "물체의 모음"이 아니라 고정된 격자 구조에 가깝습니다. 기호로 사전학습된 LLM과 연결하기도, 물체와 상호작용하는 추론을 하기도 어렵습니다. 그래서 물체 단위로 쪼갠 표현과 3D를 아는 OSRT를 시험했고, 결과에서 OSRT가 적은 데이터로 가장 좋은 계획 성능을 냈습니다.

4. 학습 — 정답 텍스트만 채점, 얼릴지 말지, 섞어 배우기

한 문장 직관: 시험지의 문제 부분(이미지 + 질문)은 채점하지 않고, 답안 부분만 채점하는 것입니다(해설용 비유).

단계별 설명

1. 학습 예시는 (관측 $u_i$개, 텍스트, 인덱스 $n_i$)입니다. 텍스트의 $n_i$번째까지는 멀티모달 접두사, 그 뒤는 예측할 정답 텍스트입니다.
2. 손실은 접두사가 아닌 토큰에 대해서만 평균한 교차 엔트로피입니다.
3. LLM은 PaLM 8B · 62B · 540B를 씁니다. 조합은 PaLM-E-12B(8B LLM + 4B ViT), PaLM-E-84B(62B + 22B ViT), PaLM-E-562B(540B + 22B ViT)입니다.
4. 얼리기(freezing): LLM은 그대로 두고 인코더만 학습할 수도 있습니다. 이는 입력에 따라 달라지는 소프트 프롬프트로 볼 수 있습니다. OSRT 실험에서는 슬롯 표현도 얼리고 작은 사영기 $\psi$만 학습했습니다.
5. 공동 학습(co-training): "전체 혼합" 데이터는 주로 인터넷 규모 시각-언어 데이터이고, 로봇(몸을 가진) 데이터는 8.9% 뿐입니다.

수식 (논문 5절의 손실을 식으로 정리)

• $x_{1:n_i}$: 이미지 벡터와 텍스트 임베딩이 섞인 접두사
• $w^{i}_{n_i+1:L_i}$: 정답 텍스트 토큰(이 부분만 손실에 들어감)

숫자로 해 보기 (해설용 예)

접두사 "<img> 블록 어떻게 잡아?" 뒤 정답이 "노란 블록 먼저"(토큰 3개)이고, 모델이 매긴 확률이 0.5, 0.25, 1.0이라 합시다.

• 손실 $= -\frac{1}{3}(\ln 0.5 + \ln 0.25 + \ln 1) = \frac{1}{3}(0.693 + 1.386 + 0) \approx 0.69$
• 접두사의 질문 단어("블록", "어떻게" 등)는 맞히든 틀리든 손실에 들어가지 않습니다.

왜 이렇게 했나

로봇 데이터는 인터넷 데이터보다 훨씬 적습니다. 인터넷 시각-언어 데이터와 섞어 배우면, 모델이 일반 시각 지식을 로봇 과제로 옮길 수 있습니다(결과의 "전이"). 얼리기는 LLM의 언어 능력을 완전히 지키는 방법이고, 전체 미세조정은 성능을 더 끌어올리는 대신 언어 능력을 잃을 위험이 있습니다. 논문은 두 길을 모두 시험합니다.

5. 로봇 제어 루프 — PaLM-E는 "상위 정책"

한 문장 직관: PaLM-E는 현장 반장처럼 "다음엔 서랍을 열어"라고 지시하고, 실제 손놀림은 숙련공(저수준 정책)이 맡습니다(해설용 비유).

단계별 설명

1. 답만 내면 되는 과제(질의응답 · 장면 설명)는 PaLM-E의 텍스트 출력이 곧 답입니다.
2. 계획 · 제어 과제에서는 PaLM-E가 저수준 기술을 지시하는 텍스트를 냅니다. 출력을 걸러 주는 별도 장치는 없고, 어떤 기술이 있는지도 학습 데이터와 프롬프트로 스스로 알아야 합니다.
3. 이동 조작 환경의 프롬프트는 Human: <instruction> Robot: <step history>. I see <img>.이고, PaLM-E는 다음 단계를 생성합니다. 저수준 정책은 RT-1입니다. "terminate"가 나올 때까지 반복합니다.
4. Language-Table 환경에서는 PaLM-E가 1Hz로 언어 하위 목표를 내고, Lynch 외(2022)의 정책이 5Hz로 저수준 행동을 냅니다.
5. 매 단계 새 관측을 보고 다시 계획하므로, 사람이 일부러 방해해도(예: 꺼낸 과자 봉지를 서랍에 다시 넣기) 계획을 고칩니다.

6. 처리 흐름

1234567891011flowchart LR
    T["지시 · 질문 텍스트"] --> G["토큰 임베딩 γ"]
    I["카메라 이미지"] --> V["인코더 φ<br/>ViT · OSRT · 상태 MLP"]
    V --> P["사영 ψ<br/>LLM 차원으로"]
    G --> M["멀티모달 문장<br/>텍스트 · 이미지 벡터 끼워 넣기"]
    P --> M
    M --> L["PaLM (디코더 전용 LLM)"]
    L --> O["텍스트 출력<br/>답 또는 다음 계획 단계"]
    O --> R["저수준 정책<br/>RT-1 등"]
    R --> W["로봇 행동"]
    W -->|"새 관측"| I

결과

모든 수치는 논문이 보고한 값입니다. 로봇 환경은 세 가지입니다. TAMP(작업 · 동작 계획, 시뮬레이션 물체 잡기 · 쌓기), Language-Table(탁상 밀기, 실제 로봇 포함), 이동 조작(SayCan과 비슷한 실제 주방)입니다. 기준선은 로봇 데이터로 학습하지 않은 PaLI와, 정답(오라클) 어포던스를 쓰는 SayCan입니다.

TAMP — 입력 표현 비교 (성공률 %, 학습 데이터의 1% = p1 · p2 각 320개, LLM 고정, 논문 표 1)

• q1~q4는 몸을 가진 VQA, p1 · p2는 계획 과제입니다. GT는 정답 물체 정보를 줬다는 뜻입니다.
• ViT-4B를 전체 혼합으로 공동 학습하면 계획 성능이 두 배 넘게 오릅니다(30.6 → 74.1). 다른 로봇 · 과제에서 오는 전이입니다.
• OSRT는 대규모 데이터 없이도 가장 효과적이었습니다.

TAMP — 학습 방식 비교 (PaLM-E-12B, p1 · p2 평균 계획 성공률 %, 논문 그림 4)

Language-Table 계획 (성공률 %, 논문 표 2, 괄호는 과제별 시연 수)

SayCan(오라클 어포던스)과 PaLI(제로샷)는 가장 쉬운 과제1에서도 0.0이었습니다. 12B → 84B로 키우면 세 과제 중 두 과제가 좋아졌습니다. 실제 로봇에서는 과제마다 학습 예시 하나씩으로 미세조정한 100개 긴 과제에서 원샷, 처음 보는 물체(장난감 거북이)에서 제로샷 일반화를 보였습니다.

이동 조작 — 실패 감지 · 어포던스 예측 (F1, 논문 표 4)

긴 과제 계획은 SayCan 실행 기록 2,912개 시퀀스로 학습해 실제 주방에서 정성적으로 평가했습니다.

일반 시각-언어 과제 (논문 표 5)

PaLM-E-562B는 OK-VQA에서 그 과제 전용으로 미세조정한 모델까지 포함해 가장 높은 수치를 냈습니다.

언어 능력 유지 (21개 언어 벤치마크, 논문 그림 6 · 표 8) — 멀티모달 학습 후 자연어 생성(NLG) 성능이 PaLM-E-12B는 상대적으로 87.3%, PaLM-E-84B는 61.6%, PaLM-E-562B는 3.9%만 떨어졌습니다. 모델이 클수록 파국적 망각이 적었습니다.

왜 중요한가 · 이후 영향

• "로봇용 VLM"의 틀을 만들었습니다. 센서 입력을 언어 모델의 입력 공간에 직접 넣는 방식은 이후 시각-언어-행동(VLA) 모델의 기본 구조가 됐습니다.
• 로봇 데이터 부족의 우회로. 로봇 데이터가 8.9%뿐인 혼합 학습에서 큰 전이가 일어난다는 결과는, 인터넷 데이터로 로봇 성능을 끌어올릴 수 있다는 근거가 됐습니다.
• 범용성과 로봇 능력의 공존. 같은 체크포인트가 로봇 계획 · OK-VQA · 캡셔닝을 모두 해냈습니다.
• (이 글의 해설, 원문 밖 내용) RT-2는 이 흐름을 이어 시각-언어 모델이 계획 문장이 아니라 행동 토큰 자체를 출력하게 만들었습니다.

한계 · 주의할 점

• 저수준 제어는 하지 않습니다. PaLM-E는 계획 · 판단을 텍스트로 내는 상위 정책이고, 실제 동작은 RT-1 같은 별도 저수준 정책에 기대합니다.
• LLM을 얼리는 방식은 로봇 과제에서 가끔 고전했습니다(표 2의 LLM 고정 행). 논문도 이를 직접 언급합니다.
• 작은 모델은 언어 능력을 크게 잃습니다. 12B는 NLG 성능의 87.3%를 잃었습니다. 전체 미세조정의 안전한 선택지는 모델이 충분히 클 때입니다.
• 실제 로봇 장기 계획은 정성 평가입니다. 이동 조작의 긴 과제는 성공률 수치 대신 시연으로 제시됩니다.
• 비용. 가장 큰 모델은 5,620억 파라미터로, 실시간 제어 루프에 그대로 쓰기 어렵습니다(이 글의 해설).
• 그림 2의 다중 이미지 추론 · 멀티모달 생각의 사슬 · 시각 농담 같은 능력은 정량 평가가 아닌 예시입니다.

이어서 읽을 것

• 앞: 트랜스포머 — 디코더 전용 LLM의 뼈대
• 앞: ViT — PaLM-E의 이미지 인코더
• 앞: CLIP — 이미지-텍스트 공동 표현, 실패 감지 기준선의 바탕
• 앞: SayCan — 텍스트만 보는 LLM 계획자, 이 논문의 기준선
• 앞: RT-1 — 이동 조작 실험의 저수준 정책
• 앞: 생각의 사슬 — 562B가 보인 멀티모달 생각의 사슬의 원형
• 뒤: RT-2 — PaLM-E를 뼈대로도 써서 행동 토큰을 직접 출력
• 뒤: OpenVLA — 공개 시각-언어-행동 모델

용어 정리

스스로 점검

1. PaLM-E는 이미지를 어떻게 언어 모델에 넣나요? 답: 인코더(ViT, OSRT 등)가 이미지를 여러 개의 벡터로 바꾸고, 사영 $\psi$로 단어 임베딩과 같은 차원에 맞춥니다. 이 벡터들을 텍스트 속 <img> 자리에 끼워 넣은 멀티모달 문장을 LLM의 접두사로 줍니다. LLM은 이 벡터를 단어 벡터처럼 셀프 어텐션으로 처리합니다.

2. "전체 혼합" 공동 학습이 로봇 과제에 왜 중요했나요? 답: 로봇 데이터는 적어서 단독 학습으로는 성능이 낮습니다. 로봇 데이터가 8.9%뿐인 인터넷 규모 시각-언어 혼합으로 함께 학습하자 전이가 일어나, TAMP에서 ViT-4B 계획 성공률이 30.6%에서 74.1%로, 그림 4에서 48.6%에서 94.9%로 올랐습니다.

3. 모델 크기와 언어 능력 유지 사이에는 어떤 관계가 있었나요? 답: 전체 미세조정 시 작은 모델일수록 언어 능력을 많이 잃었습니다. NLG 성능이 PaLM-E-12B는 상대적으로 87.3% 떨어졌지만 PaLM-E-562B는 3.9%만 떨어졌습니다. 그래서 논문은 LLM을 얼리거나, 아니면 모델을 키우는 두 길을 제시합니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델 — 행동을 숫자 토큰으로 바꿔 웹 사전학습 VLM이 로봇을 직접 제어하게 한 첫 VLA 모델입니다

출처

• 원문: arxiv.org/abs/2303.03378 (2023 · Danny Driess 외)