언어 모델은 퓨샷 학습자다 (GPT-3)

언어 모델은 퓨샷 학습자다 (GPT-3)

1,750억 파라미터 언어 모델을 만들고, 미세조정 없이 프롬프트 안에 예시 몇 개만 넣어(퓨샷) 수십 가지 과제를 시험한 논문입니다. 일부 과제에서는 미세조정한 최고 모델에 견줄 만한 성적을 냈고, "프롬프트에 예시를 넣어 쓰는" 지금의 LLM 사용 방식을 정착시켰습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• LLM 사전학습: 데이터 · 목표 · 학습 과정 한눈에 — 데이터 정제 · 배합 · 6ND 연산량 등 대규모 사전학습의 전체 과정
• 언어 모델은 비지도 멀티태스크 학습자다 (GPT-2) — 15억 파라미터 언어 모델이 미세조정 없이 프롬프트만으로 여러 과제를 푼다는 것을 보인 GPT-2

한눈에 보기

• 제로샷 · 원샷 · 퓨샷 · 미세조정이 각각 무엇이고, 어떻게 다른지 알게 됩니다.
• 가중치를 바꾸지 않고 "프롬프트 안의 예시만으로" 과제를 배우는 인컨텍스트 학습이 무엇인지 알게 됩니다.
• 모델을 1억 2,500만에서 1,750억 파라미터까지 키우면 퓨샷 능력이 어떻게 달라지는지 숫자로 알게 됩니다.
• GPT-3가 잘한 과제와 못한 과제, 그리고 웹 데이터 학습에 따르는 오염 · 편향 문제를 알게 됩니다.

초록 (번역)

최근 연구는 큰 텍스트 말뭉치로 사전학습한 뒤 특정 과제로 미세조정하면 많은 NLP 과제와 벤치마크에서 큰 향상을 얻는다는 것을 보여 줬습니다. 이 방법은 구조는 대개 과제와 무관하지만, 여전히 과제별로 수천~수만 개 예제로 된 미세조정 데이터가 필요합니다. 이와 달리 사람은 보통 몇 개의 예시나 간단한 지시만으로 새로운 언어 과제를 해낼 수 있는데, 현재의 NLP 시스템은 아직 이것을 대체로 어려워합니다. 이 논문은 언어 모델의 규모를 키우면 과제에 무관한 퓨샷 성능이 크게 좋아지고, 때로는 기존 최고의 미세조정 방법과 견줄 만한 수준에 이른다는 것을 보입니다. 구체적으로, 1,750억 파라미터의 자기회귀 언어 모델 GPT-3를 학습시켰는데, 이는 이전의 어떤 비희소(non-sparse) 언어 모델보다 10배 큽니다. 그리고 퓨샷 설정에서 성능을 시험합니다. 모든 과제에서 GPT-3는 기울기 갱신이나 미세조정 없이 적용되며, 과제와 퓨샷 시연은 순전히 모델과의 텍스트 상호작용으로만 지정됩니다. GPT-3는 번역, 질의응답, 빈칸 채우기 과제를 비롯한 많은 NLP 데이터에서 강한 성능을 내고, 단어 철자 되돌리기, 새 단어를 문장에 써 보기, 세 자리 산술처럼 즉석 추론이나 영역 적응이 필요한 여러 과제에서도 그렇습니다. 동시에 GPT-3의 퓨샷 학습이 여전히 어려워하는 데이터와, 대규모 웹 말뭉치로 학습한 데서 오는 방법론적 문제를 겪는 데이터도 찾아냅니다. 마지막으로, GPT-3가 사람 평가자가 사람이 쓴 기사와 구별하기 어려워하는 뉴스 기사 샘플을 생성할 수 있음을 발견합니다. 이 발견과 GPT-3 전반의 더 넓은 사회적 영향도 논의합니다.

무엇을 풀었나

GPT-1 · BERT 이후 "사전학습 + 미세조정"이 표준이 됐지만, 저자들은 세 가지 문제를 지적합니다.

1. 실용성: 새 과제마다 정답 데이터 수천~수십만 개를 모아야 합니다. 문법 고치기, 개념 예시 만들기, 짧은 소설 비평처럼 쓸모 있는 과제는 끝없이 많은데, 그때마다 데이터를 모을 수는 없습니다.
2. 가짜 상관관계: 큰 모델을 좁은 미세조정 데이터에 맞추면 데이터의 우연한 패턴을 이용하게 되어, 분포 밖에서는 일반화가 나빠질 수 있습니다.
3. 사람과의 차이: 사람은 "이 문장이 기쁜지 슬픈지 말해 줘" 같은 지시나 예시 몇 개만으로 새 과제를 합니다.

GPT-2는 프롬프트로 과제를 푸는 가능성을 보였지만 성적이 낮았습니다(Natural Questions 4%, CoQA 55 F1로 최고 기록보다 35점 넘게 낮음). 한편 트랜스포머 언어 모델의 크기는 1억 → 3억 → 15억 → 80억 → 110억 → 170억 파라미터로 빠르게 커지고 있었고, 손실이 크기에 따라 매끄럽게 줄어든다는 연구도 있었습니다. 이 논문의 가설은 "인컨텍스트 학습 능력도 크기와 함께 크게 좋아질 것"입니다.

전체 흐름

1234567891011flowchart LR
  A[학습 데이터 혼합<br/>필터링한 Common Crawl 60% 등] --> B[8가지 크기 모델 학습<br/>125M ~ 175B, 3,000억 토큰]
  B --> C[가중치 고정<br/>미세조정 없음]
  C --> D{평가 설정}
  D -->|제로샷| E[과제 설명만]
  D -->|원샷| F[설명 + 예시 1개]
  D -->|퓨샷| G[설명 + 예시 K개<br/>보통 10~100개, 문맥 2,048토큰 안]
  E --> H[모델이 다음 내용 생성 · 선택지 확률 비교]
  F --> H
  G --> H
  H --> I[과제별 채점<br/>정확도 · F1 · BLEU 등]

핵심 아이디어

1. 제로샷 · 원샷 · 퓨샷 — 가중치를 바꾸지 않는 학습

한 문장 직관: 신입 사원에게 업무 매뉴얼을 다시 교육하는 대신(미세조정), 오늘 할 일을 설명하고 예시 몇 장을 책상 위에 놓아 주는 방식입니다.

단계별 설명

1. 미세조정(FT): 과제 데이터로 모델 가중치를 갱신합니다. 이 논문은 GPT-3를 미세조정하지 않습니다.
2. 퓨샷(FS): 추론할 때 "문맥 + 정답" 예시 $K$개를 앞에 붙이고, 마지막에 문맥만 준 뒤 모델이 정답을 이어 쓰게 합니다. 가중치는 그대로입니다.
3. 원샷(1S): 예시를 1개만 줍니다. 사람에게 일을 맡길 때 예시 하나를 보여 주는 경우와 가장 비슷해서 따로 구분했습니다.
4. 제로샷(0S): 예시 없이 자연어 지시만 줍니다. 가장 편하지만 가장 어렵고, 사람도 형식을 모르면 헷갈릴 수 있어 "부당하게 어려운" 경우도 있다고 논문은 말합니다.

퓨샷 프롬프트를 식으로 쓰면 다음과 같습니다(설명용 표기).

왜 "학습"이라 부르나: 논문은 사전학습을 바깥 고리, 프롬프트 안에서 예시를 보고 과제에 적응하는 것을 안쪽 고리로 보는 메타 학습 틀로 설명합니다. 안쪽 고리를 인컨텍스트 학습(in-context learning)이라고 부릅니다. 다만 이것이 정말 새 과제를 "처음부터" 배우는지, 학습 때 본 과제를 알아보는 것인지는 열린 문제라고 스스로 밝힙니다.

숫자로 해 보기 (해설용 프롬프트):

1234영어를 프랑스어로 번역하세요.        ← 과제 설명 d
cat => chat                         ← 예시 1
dog => chien                        ← 예시 2
bird =>                             ← 새 문제 x

여기서 $K = 2$이므로 퓨샷(2-shot)입니다. 위 두 예시 줄을 지우면 제로샷, 하나만 남기면 원샷입니다.

2. 선택지 문제는 "토큰당 확률"로 비교

한 문장 직관: 답이 긴 선택지는 단어가 많아 전체 확률이 작아지기 쉬우니, 토큰 하나당 평균으로 공정하게 비교합니다.

단계별 설명

1. 예시 $K$개 + 새 문제 문맥을 넣습니다.
2. 각 선택지를 이어 붙였을 때의 언어 모델 확률을 계산합니다.
3. 대부분 과제에서는 토큰 수로 나눈 확률(길이 정규화)로 비교합니다.
4. ARC · OpenBookQA · RACE에서는 "Answer:" 같은 일반 문맥에서의 확률로 나누는 정규화가 더 나았습니다.

이렇게 나누면 "원래 흔한 표현이라서" 확률이 높은 선택지가 유리해지는 효과를 줄일 수 있습니다. 이진 분류는 0/1 대신 "True/False"처럼 뜻 있는 이름을 붙여 선택지 문제처럼 풉니다. 자유 생성 과제는 빔 폭 4, 길이 패널티 0.6의 빔 탐색을 씁니다.

숫자로 해 보기 (해설용): 선택지 A의 로그 확률 합이 $-3.0$(토큰 2개), B가 $-4.0$(토큰 4개)이라면 합으로는 A가 높지만, 토큰당 평균은 A $-1.5$, B $-1.0$이라 B를 고릅니다.

3. 모델 — GPT-2 구조를 그대로 키우다

(논문은 8가지 크기를 학습했습니다. 위 표는 그중 4개를 옮긴 것입니다.)

• GPT-2와 같은 구조(수정된 초기화, 사전 정규화, 되돌릴 수 있는 토큰화)에, 층마다 조밀한 어텐션과 국소 띠 모양 희소 어텐션을 번갈아 씁니다.
• 피드포워드 크기는 $4 d_{\text{model}}$, 문맥 창은 모든 모델이 2,048토큰입니다.
• 모든 모델을 3,000억 토큰으로 학습했고, 큰 모델일수록 배치는 크게 · 학습률은 작게 했습니다.
• 마이크로소프트가 제공한 클러스터의 V100 GPU에서 학습했습니다.

왜 여러 크기를 학습했나: 이전 연구는 데이터가 충분하면 검증 손실이 크기에 대해 매끄러운 거듭제곱 법칙을 따른다고 했습니다. 8가지 크기를 학습하면 이 법칙이 손실뿐 아니라 실제 과제 성능에도 이어지는지 확인할 수 있습니다.

숫자로 해 보기 (해설용 계산): 배치가 320만 토큰이고 총 3,000억 토큰을 학습한다면 갱신 횟수는 약 $3 \times 10^{11} / 3.2 \times 10^{6} \approx 94{,}000$번입니다(배치 크기가 학습 중 바뀌는 등 세부 일정은 무시한 대략값).

4. 학습 데이터 — 질 좋은 데이터를 더 자주

한 문장 직관: 양은 많지만 질이 들쭉날쭉한 웹 데이터는 걸러서 덜 자주 보고, 질 좋은 책 · 위키 데이터는 여러 번 봅니다.

단계별 설명

1. Common Crawl(2016~2019, 월별 41개 조각, 압축 텍스트 45TB)을 고품질 참고 말뭉치와의 유사도로 걸러 570GB(약 4,100억 BPE 토큰)로 줄였습니다.
2. 데이터셋 안팎에서 문서 수준의 흐린(fuzzy) 중복 제거를 했습니다.
3. 확장한 WebText2, 책 말뭉치 Books1 · Books2, 영어 위키백과를 더했습니다.
4. 데이터셋 크기에 비례하지 않고, 질 좋은 데이터를 더 자주 뽑았습니다.

숫자로 해 보기 (해설용 계산): 3,000억 토큰의 60%는 1,800억 토큰입니다. Common Crawl은 4,100억 토큰이니 $1{,}800 / 4{,}100 \approx 0.44$번, 곧 절반도 다 보지 않습니다. 표의 0.44와 맞습니다.

왜 이렇게 했나: 적은 과적합을 감수하는 대신 학습 데이터의 평균 품질을 높이려는 선택이라고 논문은 설명합니다. 학습 데이터는 단어 수 기준 93%가 영어, 7%가 다른 언어였습니다.

5. 데이터 오염 점검

한 문장 직관: 시험 문제가 이미 교과서(학습 데이터)에 실려 있었다면 점수를 믿기 어려우니, 겹치는 문제를 빼고 다시 채점합니다.

단계별 설명

1. 평가 데이터와 겹치는 학습 데이터를 지우려 했지만, 버그로 일부만 지워졌고 비용 때문에 다시 학습할 수 없었습니다.
2. 대신 벤치마크마다 학습 데이터와 13-그램이 겹치는 예제를 모두 뺀 "깨끗한" 버전을 만들었습니다.
3. 원래 점수와 깨끗한 버전 점수를 비교했습니다.
4. 대부분 벤치마크에서는 차이가 거의 없었지만, PIQA와 위노그라드는 오염 증거가 있어 결과에 별표를 달았습니다.

결과

문장 완성 · 빈칸 채우기

PTB 제로샷 퍼플렉서티는 20.5로 이전 최고(35.8)보다 15점 낮았습니다. LAMBADA 퓨샷에서는 빈칸 채우기 형식 예시로 "마지막 한 단어"만 답해야 한다는 것을 알려 줘 이전 최고보다 18% 넘게 올랐습니다.

검색 없는(클로즈드북) 질의응답

TriviaQA 원샷 68.0은 검색 기구를 쓰는 미세조정 오픈 도메인 모델 RAG(68.0)와 같았고, 퓨샷은 이를 넘었습니다.

번역(BLEU, 퓨샷)

영어로 번역할 때는 이전 비지도 번역보다 강했고, 영어에서 다른 언어로 번역할 때는 약했습니다. 영어 비중이 큰 언어 모델의 특성이 드러난 결과입니다.

SuperGLUE(테스트, 퓨샷 예시 32개)

산술(퓨샷, 2,000문제씩, 정확히 맞혀야 정답)

두 번째로 큰 130억 모델도 2자리 덧셈 · 뺄셈을 절반 정도만 맞혀, 가장 큰 모델에서 성능이 크게 뛰었습니다.

뉴스 기사 판별(사람 평가, 약 200단어 기사)

어려워한 과제: ANLI 같은 자연어 추론, WiC(두 문장에서 같은 단어가 같은 뜻으로 쓰였는지), RACE · QuAC 같은 일부 읽기 이해에서는 원샷 · 퓨샷으로도 우연 수준을 크게 넘지 못했습니다.

왜 중요한가 · 이후 영향

• 프롬프트 = 인터페이스: 예시 몇 개와 지시문으로 모델을 쓰는 방식이 이 논문으로 정착했습니다. 지금 업무에서 ChatGPT · Claude에 "예시처럼 정리해 줘"라고 쓰는 것이 바로 퓨샷 프롬프팅입니다.
• 크기와 인컨텍스트 학습: 큰 모델일수록 제로샷과 퓨샷의 차이가 커졌습니다. 저자들은 큰 모델이 더 능숙한 메타 학습자라는 신호로 봅니다.
• API 시대의 시작: 미세조정 없이 하나의 모델을 여러 과제에 쓰는 흐름이 이후 생각의 사슬(CoT) · 지시 따르기(InstructGPT) 연구로 이어졌습니다.
• 오염 · 편향 · 오용 논의: 웹 규모 데이터의 시험 오염 점검, 성별 · 인종 · 종교 편향 분석, 가짜 뉴스 오용 우려를 본격적으로 다룬 첫 대형 모델 논문 가운데 하나입니다.

한계 · 주의할 점

• 긴 글의 일관성: 문서 수준에서 같은 말을 반복하거나, 길어지면 일관성을 잃거나, 스스로 모순되는 경우가 있다고 논문이 밝힙니다.
• 상식 물리: "치즈를 냉장고에 넣으면 녹을까?" 같은 질문을 특히 어려워했다고 적습니다.
• 비교형 과제 약점: 두 문장 · 두 단어를 비교하는 과제(WiC, ANLI)에서 약했습니다. 저자들은 양방향 구조를 쓰지 않은 자기회귀 모델의 한계일 수 있다고 봅니다.
• 사전학습 목표의 한계: 모든 토큰을 똑같이 중요하게 예측하는 목표는 무엇이 중요한지 모릅니다. 저자들은 사람에게서 목표를 배우기, 강화학습 미세조정, 이미지 같은 다른 감각 추가를 앞으로의 방향으로 꼽습니다.
• 비용: 1,750억 모델은 추론도 비싸고 불편합니다. 증류(distillation)로 줄이는 것을 과제로 남깁니다. 사전학습에는 수천 페타플롭/초-일의 연산이 들었습니다.
• 오염 버그: 겹침 제거 버그로 일부 평가 데이터가 학습에 남았고, 일부 결과에는 별표가 붙어 있습니다.

이어서 읽을 것

• 앞: 언어 모델은 비지도 멀티태스크 학습자다 (GPT-2) · 신경망 언어 모델의 스케일링 법칙
• 뒤: 연산 최적 대형 언어 모델 학습 (Chinchilla) · 사람 피드백으로 지시를 따르게 학습하기 (InstructGPT) · 생각의 사슬 프롬프팅 · 검색 증강 생성 (RAG)

용어 정리

스스로 점검

1. 퓨샷과 미세조정의 가장 큰 차이는 무엇인가요?

   미세조정은 과제 데이터로 가중치를 바꾸고, 퓨샷은 가중치를 그대로 둔 채 프롬프트 안에 예시 몇 개만 넣어 모델이 이어 쓰게 합니다.

2. TriviaQA에서 GPT-3의 제로샷 · 원샷 · 퓨샷 성적은 각각 얼마였고, 무엇과 비교되나요?

   64.3% · 68.0% · 71.2%입니다. 원샷은 검색을 쓰는 미세조정 모델 RAG(68.0)와 같았고, 퓨샷은 이를 넘었습니다.

3. GPT-3가 특히 약했던 과제 유형과 저자들의 해석은 무엇인가요?

   두 문장 · 두 단어를 비교하는 과제(WiC, ANLI)와 일부 읽기 이해입니다. 저자들은 양방향 구조나 잡음 제거 목표를 쓰지 않은 자기회귀 모델의 한계일 수 있다고 봅니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• Hugging Face LLM 강좌 — 트랜스포머 세 갈래 · pipeline 내부 · Trainer 미세조정 · LoRA를 코드와 숫자로 배우는 수업
• 신경망 언어 모델의 스케일링 법칙 — 언어 모델 손실이 모델 · 데이터 · 연산에 대해 거듭제곱 법칙을 따름을 보인 스케일링 법칙 논문
• 생각의 사슬 프롬프팅 (Chain-of-Thought) — 예시에 풀이 과정을 넣기만 해도 큰 언어 모델의 추론 성능이 크게 오른다는 논문

출처

• 원문: arxiv.org/abs/2005.14165 (2020 · Tom B. Brown 외)