자연어 감독으로 시각 모델 학습하기 (CLIP)

자연어 감독으로 시각 모델 학습하기 (CLIP)

인터넷에서 모은 이미지-글 쌍 4억 개로 "이 이미지에 어떤 글이 짝인가"를 맞히게 학습해, 이미지와 글을 같은 벡터 공간에 놓는 모델을 만든 논문입니다. 학습 후에는 "a photo of a {이름}." 같은 문장만으로 새 분류기를 즉석에서 만들 수 있어(제로샷), ImageNet 학습 이미지 128만 장을 하나도 쓰지 않고 원래 ResNet-50과 같은 정확도를 냈습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 이미지는 16x16 단어다 (비전 트랜스포머) — 이미지를 16×16 패치 토큰으로 잘라 표준 트랜스포머로 분류한 비전 트랜스포머(ViT)
• 임베딩과 벡터 유사도: 원-핫에서 의미 공간까지 — 원-핫의 한계, 임베딩 조회, 내적 · 코사인 유사도를 손계산으로 익히는 기초 수업

한눈에 보기

• 정해진 클래스 1,000개 대신 "자연어 글"을 정답으로 쓰면 무엇이 좋아지는지 알게 됩니다.
• 배치 안 $N$개 이미지와 $N$개 글 중 진짜 짝을 맞히는 대조 학습(contrastive learning) 목표를 손으로 계산해 보게 됩니다.
• 클래스 이름을 문장으로 바꿔 분류기를 만드는 제로샷 분류와 프롬프트 엔지니어링 · 앙상블 효과를 알게 됩니다.
• CLIP이 강한 곳(분포 변화에 강건함)과 약한 곳(세밀한 분류, 개수 세기, 손글씨 숫자)을 알게 됩니다.

초록 (번역)

최고 수준의 컴퓨터 비전 시스템은 미리 정해 둔 고정된 물체 범주 집합을 예측하도록 학습됩니다. 이런 제한된 형태의 감독은 다른 시각 개념을 지정하려면 추가 정답 데이터가 필요하므로 일반성과 쓸모를 제한합니다. 이미지에 관한 원시 텍스트에서 직접 배우는 것은 훨씬 넓은 감독 원천을 활용하는 유망한 대안입니다. 우리는 "어떤 캡션이 어떤 이미지와 짝인지 예측하기"라는 단순한 사전학습 과제가, 인터넷에서 모은 (이미지, 텍스트) 쌍 4억 개 데이터로 최고 수준의 이미지 표현을 처음부터 배우는 효율적이고 확장 가능한 방법임을 보입니다. 사전학습 후에는 자연어로 학습된 시각 개념을 가리키거나 새 개념을 설명해, 모델을 다운스트림 과제로 제로샷 전이할 수 있습니다. 문자 인식(OCR), 영상 속 행동 인식, 지리적 위치 추정, 여러 종류의 세밀한 물체 분류 등 30개가 넘는 기존 컴퓨터 비전 데이터로 이 방법의 성능을 측정합니다. 모델은 대부분의 과제로 의미 있게 전이되며, 데이터별 학습 없이도 완전 지도 학습 기준선과 자주 겨룰 만합니다. 예를 들어, 원래 ResNet-50이 학습에 쓴 128만 개 학습 예제를 하나도 쓰지 않고 ImageNet에서 제로샷으로 그 정확도에 맞먹습니다. 코드와 사전학습 모델 가중치를 공개합니다.

무엇을 풀었나

기존 이미지 분류 모델은 "개 · 고양이 · 자동차 …"처럼 미리 정한 클래스 목록을 맞히도록 학습했습니다. 목록에 없는 개념(예: "회의실 화이트보드")을 알아보게 하려면 정답 데이터를 다시 모아 학습해야 합니다.

NLP에서는 GPT 계열처럼 웹 텍스트로 사전학습한 모델이 과제별 데이터 없이도 여러 과제를 풀기 시작했습니다. 이미지 쪽에서도 이미지에 딸린 글로 배우려는 시도가 있었지만 성능이 낮았습니다(예: Visual N-Grams의 ImageNet 제로샷 11.5%). 저자들은 두 가지를 원인으로 봤습니다.

1. 데이터 규모: MS-COCO · Visual Genome은 학습 사진이 약 10만 장씩이었고, 1억 장인 YFCC100M도 영어 제목 · 설명이 있는 것만 남기면 1,500만 장(ImageNet 수준)으로 줄었습니다.
2. 학습 효율: 이미지에서 캡션 단어를 그대로 생성하는 방식은 너무 느렸습니다.

전체 흐름

1234567891011flowchart LR
  A[WIT: 이미지-글 쌍 4억 개<br/>질의어 50만 개로 수집] --> B[배치 N개 쌍]
  B --> C[이미지 인코더<br/>ResNet 또는 ViT]
  B --> D[텍스트 인코더<br/>트랜스포머]
  C --> E[선형 투영 + L2 정규화<br/>이미지 임베딩]
  D --> F[선형 투영 + L2 정규화<br/>텍스트 임베딩]
  E --> G[N×N 코사인 유사도 × 온도]
  F --> G
  G --> H[대칭 교차 엔트로피<br/>대각선 = 진짜 짝]
  H --> I[학습된 CLIP]
  I --> J["제로샷: 'a photo of a {label}.'<br/>문장 임베딩과 가장 가까운 클래스 선택"]

핵심 아이디어

1. 큰 데이터 WIT — 웹에서 모은 이미지-글 쌍 4억 개

한 문장 직관: 사람이 일일이 라벨을 다는 대신, 인터넷에 이미 이미지와 함께 붙어 있는 글을 정답으로 씁니다.

단계별 설명

1. 영어 위키백과에 100번 이상 나온 단어 등으로 질의어 50만 개를 만들었습니다(바이그램 · 위키백과 문서 제목 · WordNet 동의어 집합 추가).
2. 글에 질의어 하나가 들어 있는 (이미지, 글) 쌍을 공개된 여러 인터넷 출처에서 모았습니다.
3. 질의어마다 최대 2만 쌍까지만 넣어 대략 균형을 맞췄습니다.
4. 결과는 4억 쌍, 전체 단어 수가 GPT-2의 WebText와 비슷한 데이터 WIT(WebImageText)입니다.

왜 이렇게 했나: 자연어 감독의 큰 장점은 인터넷에 이런 데이터가 엄청나게 많다는 점입니다. 기존 작은 데이터로만 실험하면 이 방향의 가능성을 과소평가하게 된다고 저자들은 봤습니다.

2. 대조 학습 — 단어를 맞히지 말고 "짝"을 맞혀라

한 문장 직관: 사진 32,768장과 설명 32,768개를 섞어 놓고 "어느 설명이 어느 사진 것인지" 짝을 찾는 게임입니다. 설명의 정확한 단어를 받아쓰는 것보다 훨씬 쉬운 과제입니다.

단계별 설명

1. 처음에는 이미지에서 캡션을 생성하는 방식을 시도했지만, 단어 주머니를 예측하는 단순한 기준보다 ImageNet 클래스를 3배 느리게 배웠습니다.
2. 같은 단어 주머니 기준에서 목표를 "예측"에서 "대조"로 바꾸자 ImageNet 제로샷 효율이 4배 더 좋아졌습니다.
3. 배치의 $N$개 쌍에서 이미지 인코더와 텍스트 인코더로 각각 특징을 뽑고, 선형 투영 후 L2 정규화합니다.
4. $N \times N$ 코사인 유사도 행렬을 만들고 학습되는 온도로 스케일합니다.
5. 행(이미지 → 글)과 열(글 → 이미지) 방향 모두 "대각선이 정답"인 교차 엔트로피를 계산해 평균합니다.

(논문은 이 과정을 의사코드로 제시합니다. 위 식은 그 의사코드를 수식으로 옮긴 것입니다.)

왜 대조 학습인가: 이미지에 붙는 글은 설명 · 댓글 · 관련 글 등 종류가 너무 다양해 정확한 단어를 맞히기 어렵습니다. "어느 글 전체가 짝인지"만 맞히는 쉬운 대리 과제로 바꾸면 같은 연산으로 훨씬 빨리 배웁니다. 논문은 이 배치 구성 · 목표가 다중 클래스 N-쌍 손실, InfoNCE 손실로 알려진 방식과 같은 계열이라고 밝힙니다.

숫자로 해 보기 (해설용, 배치 3쌍)

정규화된 임베딩의 코사인 유사도 행렬이 다음과 같고, 스케일을 10으로 잡는다고 합시다.

이미지 1 행의 점수는 $(9, 2, 1)$이고 소프트맥스하면 $e^{9} \approx 8{,}103$, $e^{2} \approx 7.4$, $e^{1} \approx 2.7$이므로 정답(글 1) 확률은 약 0.999, 손실은 약 0.001입니다. 이미지 3 행은 $(1, 4, 7)$로 정답 확률이 $e^{7} / (e^{1} + e^{4} + e^{7}) \approx 1{,}097 / 1{,}154 \approx 0.95$입니다. 학습은 대각선 점수를 키우고 나머지를 줄이는 방향으로 진행됩니다. 실제로는 행과 열 두 방향을 모두 계산해 평균합니다.

3. 인코더와 학습 설정

한 문장 직관: 이미지 쪽은 ResNet이나 ViT, 글 쪽은 GPT-2식 트랜스포머를 쓰고, 둘 다 처음부터(사전학습 가중치 없이) 함께 학습합니다.

구성(논문 기준)

• 이미지 인코더: ① ResNet-50 개량형(ResNet-D, 블러 풀링, 전역 평균 풀링 대신 어텐션 풀링) — ResNet-50 · 101과 연산을 약 4배 · 16배 · 64배 키운 RN50x4 · x16 · x64 ② ViT-B/32 · B/16 · L/14
• 텍스트 인코더: 기본 6,300만 파라미터, 12층, 폭 512, 헤드 8개 트랜스포머. 소문자 BPE 어휘 49,152, 최대 길이 76. [EOS] 위치의 최상층 출력을 글 표현으로 씁니다.
• 투영: 비선형이 아니라 선형 투영만 씁니다(차이가 없었다고 보고).
• 데이터 증강: 크기 조정한 이미지에서 무작위 정사각형 자르기 하나뿐입니다.
• 학습: 모든 모델 32에폭, Adam + 분리된 가중치 감쇠, 코사인 학습률, 미니배치 32,768, 혼합 정밀도
• 비용: 가장 큰 ResNet(RN50x64)은 V100 592개로 18일, 가장 큰 ViT는 V100 256개로 12일. ViT-L/14를 336픽셀로 1에폭 더 학습한 ViT-L/14@336px가 논문에서 "CLIP"이라 부르는 최고 모델입니다.

왜 텍스트 인코더는 폭만 키웠나: CLIP 성능이 텍스트 인코더 용량에 덜 민감했기 때문이라고 논문은 설명합니다. 이미지 쪽 ResNet은 폭 · 깊이 · 해상도를 똑같이 나눠 키웠습니다.

4. 제로샷 분류 — 글로 분류기를 만든다

한 문장 직관: 분류할 클래스 이름들을 문장으로 써서 텍스트 인코더에 넣으면, 그 임베딩들이 그대로 "분류기 가중치"가 됩니다.

단계별 설명

1. 데이터의 클래스 이름을 "A photo of a {label}." 같은 문장으로 바꿉니다.
2. 텍스트 인코더로 클래스마다 임베딩을 만들고 캐시해 둡니다.
3. 새 이미지의 임베딩과 각 클래스 임베딩의 코사인 유사도를 구해 온도로 스케일하고 소프트맥스합니다.
4. 확률이 가장 높은 클래스를 고릅니다.

논문은 이것을 "입력과 가중치가 L2 정규화되고 편향 없이 온도로 스케일된 다항 로지스틱 회귀"로 해석합니다. 텍스트 인코더는 글로 선형 분류기의 가중치를 만들어 내는 하이퍼네트워크인 셈입니다. 사전학습의 각 단계도 "클래스 32,768개, 클래스당 예제 1개인 즉석 분류 과제"를 푸는 것으로 볼 수 있습니다.

프롬프트 엔지니어링 · 앙상블

• 클래스 이름 한 단어만 넣으면 뜻이 모호합니다. ImageNet에는 건설용 크레인과 새 두루미(crane)가 둘 다 있고, Oxford Pets의 "boxer"는 개 품종이지만 권투 선수로도 읽힙니다.
• 사전학습 글은 대개 문장이므로 "A photo of a {label}."을 기본으로 쓰자 ImageNet 정확도가 1.3% 올랐습니다.
• 데이터에 맞춘 문구도 도움이 됐습니다. 예: "A photo of a {label}, a type of pet.", 위성 사진에는 "a satellite photo of a {label}."
• 문구 80개로 만든 분류기를 임베딩 공간에서 평균(앙상블)하자 ImageNet에서 3.5% 더 올랐습니다. 둘을 합치면 약 5% 향상이고, 36개 데이터 평균으로는 기본 방식 대비 연산 4배를 더 쓴 것과 비슷한 이득이었습니다.

숫자로 해 보기 (해설용): 이미지와 "a photo of a dog." · "a photo of a cat." · "a photo of a car."의 코사인이 0.30 · 0.25 · 0.10이고 스케일이 100이라면 로짓은 30 · 25 · 10입니다. dog 확률은 $1 / (1 + e^{-5} + e^{-20}) \approx 0.993$입니다. 코사인 차이는 0.05뿐이지만 스케일 덕분에 확률 차이가 뚜렷해집니다.

결과

이전 제로샷 방법과 비교(정확도 %)

ImageNet 76.2%는 학습 이미지 128만 장을 하나도 쓰지 않고 원래 ResNet-50과 같은 수준이며, 상위 5개 정확도는 95%로 Inception-V4와 비슷했습니다. 다만 저자들은 데이터 · 모델 · 연산 차이가 매우 커서 직접적인 방법 비교로 읽지 말라고 주의합니다.

완전 지도 기준선과 비교: 27개 데이터에서 제로샷 CLIP은 ResNet-50 특징 위에 학습한 로지스틱 회귀보다 16개에서 나았습니다(ImageNet 포함).

• 스탠퍼드 Cars · Food101에서는 20% 넘게 높았고, Flowers102 · FGVC Aircraft에서는 10% 넘게 낮았습니다.
• STL10에서 99.3%로, 학습 예제 없이 새 최고 기록으로 보였습니다.
• 영상 행동 인식 Kinetics700에서 14.5%, UCF101에서 7.7% 높았습니다. 저자들은 자연어가 동사가 들어간 개념을 더 넓게 감독하기 때문이라고 추측합니다.
• 위성 사진(EuroSAT · RESISC45), 림프절 종양 검출, 합성 장면 물체 개수 세기, 독일 교통 표지판, 가장 가까운 차까지 거리 같은 전문 · 추상 과제에서는 약했습니다.

퓨샷과 비교: 제로샷 CLIP은 같은 특징 위 4-샷 선형 분류기와 평균 성능이 같았고, 공개 모델 중 최고인 16-샷 분류기(BiT-M)와 거의 같았습니다. ImageNet에서는 같은 특징 공간의 16-샷 분류기와 맞먹었습니다. 데이터마다 제로샷이 "클래스당 몇 개 예제"에 해당하는지 추정하면 중앙값 5.4개, 평균 20.8개였습니다.

규모: ResNet CLIP 5개의 평균 제로샷 오류율이 연산 44배 범위에서 로그-로그 직선 추세를 따랐습니다.

표현 품질(선형 탐침): 가장 큰 RN50x64는 기존 최고(Noisy Student EfficientNet-L2)를 전체 점수와 연산 효율 모두에서 조금 앞섰고, CLIP ViT는 CLIP ResNet보다 연산 효율이 약 3배 좋았습니다. ViT-L/14@336px는 12개 데이터 평가에서 기존 최고 모델보다 평균 2.6% 높았습니다.

분포 변화에 강건함: ImageNet 변형 데이터(자연적 분포 변화)에서 제로샷 CLIP은 "ImageNet 정확도와 분포가 바뀐 데이터 정확도 사이의 격차"를 최대 75%까지 줄였습니다.

왜 중요한가 · 이후 영향

• 이미지-글 공통 임베딩: 이미지와 글을 같은 공간에 놓는 방식은 이미지 검색, 이미지 생성 모델의 글 조건, 이미지를 이해하는 멀티모달 LLM의 시각 인코더로 널리 쓰이게 됐습니다.
• "글로 분류기 만들기": 클래스 목록을 바꿀 때 다시 학습하지 않고 문장만 바꾸면 되는 방식은 업무용 이미지 분류 · 태깅을 크게 쉽게 만들었습니다.
• 프롬프트 엔지니어링의 비전판: GPT-3에서 보던 프롬프트 효과가 이미지 분류에서도 그대로 나타난다는 것을 보였습니다.
• 대조 학습 + 대규모 웹 데이터: 정답 라벨 대신 자연스러운 짝 정보를 대규모로 쓰는 방식은 이후 텍스트 임베딩 · 검색 모델 학습에도 영향을 줬습니다.

한계 · 주의할 점

• 여전히 최고 기록과 거리가 있습니다. 많은 데이터에서 제로샷은 단순 지도 기준선과 비슷한 수준이고, 저자들은 제로샷 CLIP이 전체 최고 수준에 이르려면 연산이 약 1,000배 더 필요하다고 추정합니다.
• 세밀한 분류 · 개수 세기 · 새로운 과제: 자동차 모델 · 꽃 종 · 항공기 변종 구분, 물체 개수 세기에 약하고, 사전학습에 거의 없을 과제(가까운 차까지 거리)에서는 우연 수준에 가깝습니다.
• 진짜 분포 밖 데이터: 손글씨 숫자 MNIST에서 88%로, 원시 픽셀 로지스틱 회귀보다 낮았습니다. 사전학습 데이터에 MNIST 같은 이미지가 거의 없었기 때문입니다. 저자들은 CLIP이 깊은 학습의 취약한 일반화 문제를 푼 것이 아니라 "모든 데이터를 분포 안으로 만들려는" 우회라고 평가합니다.
• 제로샷과 퓨샷의 연결: 제로샷 분류기를 퓨샷 학습의 사전으로 쓰는 단순한 시도는 잘 되지 않았다고 밝힙니다.
• 웹 데이터의 편향: 걸러지지 않은 인터넷 이미지-글 쌍으로 학습해 사회적 편향을 배울 수 있다는 점을 논문도 별도로 분석합니다.

이어서 읽을 것

• 앞: 이미지는 16x16 단어다 (비전 트랜스포머) · 언어 모델은 퓨샷 학습자다 (GPT-3)
• 응용: 문장 임베딩: Sentence-BERT · 대조 학습으로 하는 비지도 밀집 검색 (Contriever)

용어 정리

스스로 점검

1. CLIP의 사전학습 과제는 무엇이고, 캡션 생성보다 나은 이유는 무엇인가요?

   배치 안 $N$개 이미지와 $N$개 글 중 진짜 짝을 맞히는 대조 학습입니다. 글의 정확한 단어를 맞히는 것보다 쉬운 과제라, 논문 실험에서 같은 연산으로 훨씬 빨리(단어 주머니 예측 대비 4배) ImageNet 제로샷 성능을 얻었습니다.

2. CLIP으로 새 데이터를 제로샷 분류하려면 무엇을 하나요?

   클래스 이름을 "A photo of a {label}." 같은 문장으로 만들어 텍스트 임베딩을 구하고, 이미지 임베딩과 코사인 유사도가 가장 높은 클래스를 고릅니다. 문구를 여러 개 만들어 평균하면 더 좋아집니다.

3. CLIP이 특히 약했던 과제를 두 가지 들어 보세요.

   물체 개수 세기 같은 추상적 과제와 손글씨 숫자 MNIST처럼 사전학습 데이터에 거의 없는 분포의 과제입니다. 자동차 모델 · 꽃 종 같은 세밀한 분류도 약했습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 중간 점검: NLP · 트랜스포머 — NLP · 트랜스포머 트랙 전체를 15문제로 점검
• PaLM-E: 몸을 가진 멀티모달 언어 모델 — 이미지 · 센서 입력을 단어처럼 LLM에 끼워 넣어 로봇 계획과 시각-언어 과제를 함께 푸는 모델
• RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델 — 행동을 숫자 토큰으로 바꿔 웹 사전학습 VLM이 로봇을 직접 제어하게 한 첫 VLA 모델입니다

출처

• 원문: https://arxiv.org/abs/2103.00020 (2021 · Alec Radford 외)