깊은 합성곱 신경망으로 ImageNet 분류하기 (AlexNet)

깊은 합성곱 신경망으로 ImageNet 분류하기 (AlexNet)

120만 장의 고해상도 사진을 1,000가지로 분류하는 대회에서, GPU 두 장으로 학습한 8층 합성곱 신경망이 기존 최고 기록을 크게 앞선 논문입니다. ReLU · 드롭아웃 · 데이터 증강 · GPU 학습을 한데 묶어 "딥러닝 시대"를 연 계기로 꼽힙니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 문서 인식을 위한 기울기 기반 학습 (LeNet) — 국소 연결·가중치 공유·하위 표본화로 된 합성곱망 LeNet-5와 MNIST 비교, 수표 판독까지 다룬 논문
• 드롭아웃: 특징 검출기의 공동 적응 막기 — 학습 때 은닉 뉴런 절반을 무작위로 꺼서 서로 기대지 못하게 해 과적합을 줄인 방법

한눈에 보기

• AlexNet의 구조(합성곱 5층 + 완전연결 3층)와 각 층의 커널 크기 · 개수를 압니다.
• 학습을 빠르게 한 ReLU, 일반화를 도운 국소 응답 정규화 · 겹치는 풀링이 무엇이고, 각각 오류율을 얼마나 줄였는지 논문 수치로 확인합니다.
• 6천만 개 파라미터의 과적합을 막은 두 방법 — 데이터 증강과 드롭아웃 — 을 작은 숫자로 따라가 봅니다.
• 신경망을 GPU 두 장에 나눠 올린 방식과 그 이유를 압니다.
• ILSVRC-2010 · 2012에서 이전 방법과의 격차가 얼마나 컸는지 압니다.

초록 (번역)

ImageNet LSVRC-2010 대회의 고해상도 이미지 120만 장을 1,000개의 서로 다른 클래스로 분류하도록 크고 깊은 합성곱 신경망을 학습시켰습니다. 테스트 데이터에서 top-1 · top-5 오류율 37.5%와 17.0%를 기록했는데, 이는 이전 최고 수준보다 상당히 나은 결과입니다. 파라미터 6천만 개와 뉴런 65만 개를 가진 이 신경망은 합성곱 층 5개(일부 뒤에는 최대 풀링 층이 붙음)와, 마지막에 1,000갈래 소프트맥스가 있는 완전연결 층 3개로 이루어집니다. 학습을 빠르게 하려고 포화하지 않는 뉴런과, 합성곱 연산의 매우 효율적인 GPU 구현을 썼습니다. 완전연결 층의 과적합을 줄이려고 최근 개발된 정규화 방법인 '드롭아웃'을 썼고, 매우 효과적임이 드러났습니다. 또 이 모델의 변형을 ILSVRC-2012 대회에 출전시켜, 2위 참가작의 26.2%와 비교되는 15.3%의 top-5 테스트 오류율로 우승했습니다.

무엇을 풀었나

논문 서론의 진단은 이렇습니다.

1. 데이터가 작았습니다. 그때까지 라벨 달린 이미지 데이터셋은 수만 장 규모(NORB · Caltech-101/256 · CIFAR-10/100)였습니다. MNIST 같은 단순 과제는 이 정도로 잘 풀리지만, 실제 환경의 물체는 변이가 커서 훨씬 큰 학습 데이터가 필요합니다. 최근에야 1,500만 장이 넘는 ImageNet 같은 데이터가 생겼습니다.
2. 큰 데이터를 배우려면 용량이 큰 모델이 필요합니다. 동시에 ImageNet조차 이 문제를 다 설명할 만큼 크지 않으므로, 모델에 사전 지식도 많아야 합니다. CNN은 "이미지 통계는 위치에 상관없이 비슷하고, 픽셀 의존성은 국소적이다"라는 대체로 맞는 가정을 담고 있어, 같은 크기의 완전연결 신경망보다 연결과 파라미터가 훨씬 적습니다.
3. 그래도 비쌌습니다. 고해상도 이미지에 CNN을 큰 규모로 적용하기에는 계산 비용이 너무 컸습니다. 이 논문은 최적화한 2차원 합성곱 GPU 구현으로 이 벽을 넘습니다.

핵심 아이디어

논문은 3.1~3.4절을 중요도 순서로 정렬했다고 밝힙니다. 이 글도 그 순서를 따릅니다.

1. ReLU — 포화하지 않는 활성화 함수

직관: tanh나 시그모이드는 입력이 크면 출력이 천장에 붙어 기울기가 거의 0이 됩니다. 언덕 꼭대기 평평한 곳에서는 공이 굴러가지 않는 것과 같습니다(해설용 비유). ReLU는 양수 쪽이 끝없이 직선이라 기울기가 늘 1입니다.

숫자로 해 보기(해설용 예): 입력 $x = 3$에서 tanh의 기울기는 $1 - \tanh^2(3) \approx 1 - 0.995^2 \approx 0.0099$이고, ReLU의 기울기는 1입니다. 같은 오차가 뒤로 전해질 때 tanh 쪽은 100분의 1로 줄어듭니다.

논문 근거: CIFAR-10에서 4층 합성곱 신경망이 학습 오류율 25%에 도달하는 속도가, ReLU를 쓰면 tanh를 쓸 때보다 여섯 배 빨랐습니다(그림 1, 정규화 없음, 학습률은 각자 가장 빠르게 조정). 저자들은 전통적인 포화 뉴런을 썼다면 이렇게 큰 신경망으로 실험할 수 없었을 것이라고 씁니다.

왜 이렇게 했나: 다른 연구(Jarrett 등)는 $|\tanh(x)|$가 잘 된다고 했지만, 그 데이터에서는 과적합 방지가 주된 관심이라 효과의 종류가 다르다고 논문은 구분합니다. 이 논문이 원한 것은 학습 데이터를 빠르게 맞추는 능력이고, 큰 데이터 · 큰 모델에서는 이것이 성능에 큰 영향을 줍니다.

2. GPU 두 장에 나눠 학습

GTX 580 한 장은 메모리가 3GB뿐이라 올릴 수 있는 신경망 크기가 제한됩니다. 그래서 커널(뉴런)의 절반씩을 각 GPU에 두고, 특정 층에서만 GPU끼리 통신하게 했습니다.

• 3번째 합성곱 층의 커널은 2번째 층의 모든 커널 맵을 입력으로 받습니다(GPU 사이 통신).
• 2 · 4 · 5번째 합성곱 층의 커널은 같은 GPU에 있는 이전 층 커널 맵만 봅니다.

효과: 각 합성곱 층의 커널을 절반으로 줄여 GPU 한 장에서 학습한 신경망과 비교해 top-1 오류율 1.7%p, top-5 오류율 1.2%p를 줄였고, 학습 시간도 약간 더 짧았습니다(논문은 이 비교가 GPU 한 장 쪽에 유리하게 치우쳐 있다고 각주에서 밝힙니다).

부수 현상: 연결을 제한한 결과, GPU 1의 첫 층 커널은 주로 색에 무관하고 GPU 2의 커널은 주로 색에 특화되는 분업이 매번 나타났다고 보고합니다.

3. 국소 응답 정규화(LRN)

직관: 같은 위치에서 여러 커널이 동시에 크게 반응하면, 서로를 조금씩 눌러 정말 두드러진 반응만 남기는 것입니다. 실제 뉴런의 측면 억제(lateral inhibition)에서 영감을 받았습니다.

논문의 값은 $k = 2$, $n = 5$, $\alpha = 10^{-4}$, $\beta = 0.75$입니다.

숫자로 해 보기(해설용 입력값, 하이퍼파라미터는 논문 값): 어떤 커널의 활동이 $a = 100$이라 합시다.

• 이웃 4개가 모두 0이면 제곱합은 $10{,}000$, $\alpha \times 10{,}000 = 1$, 분모는 $(2 + 1)^{0.75} \approx 2.28$ → $b \approx 43.9$.
• 이웃 4개도 모두 100이면 제곱합은 $50{,}000$, $\alpha \times 50{,}000 = 5$, 분모는 $(2 + 5)^{0.75} \approx 4.30$ → $b \approx 23.2$.

같은 100이라도 주변이 함께 크게 반응하면 더 많이 눌립니다.

효과: top-1 1.4%p, top-5 1.2%p를 줄였습니다. CIFAR-10의 4층 CNN에서도 테스트 오류율이 정규화 없이 13%, 있으면 11%였습니다. 평균을 빼지 않으므로 '밝기 정규화'라 부르는 게 더 정확하다고 논문은 덧붙입니다.

4. 겹치는 풀링

직관: 풀링 창을 띄엄띄엄이 아니라 조금씩 겹쳐 놓으면, 경계에 걸친 특징도 놓치지 않습니다.

풀링 단위가 $s$픽셀 간격으로 놓이고 각자 $z \times z$ 이웃을 요약한다고 할 때, $s = z$면 전통적인 겹치지 않는 풀링, $s < z$면 겹치는 풀링입니다. AlexNet은 전체에 $s = 2$, $z = 3$을 씁니다.

숫자로 해 보기(해설용 예, 1차원 최대 풀링): 값 $(1, 5, 2, 0, 3)$에 대해

• 겹침 $z = 3, s = 2$: 창 $(1,5,2)$와 $(2,0,3)$ → 출력 $(5, 3)$. 가운데 값 2는 두 창에 모두 들어갑니다.
• 겹치지 않음 $z = 2, s = 2$: 창 $(1,5)$와 $(2,0)$ → 출력 $(5, 2)$. 마지막 3은 이 길이에서는 버려집니다.

효과: 출력 크기가 같은 $s = 2, z = 2$와 비교해 top-1 0.4%p, top-5 0.3%p를 줄였고, 겹치는 풀링을 쓴 모델이 과적합하기 조금 더 어렵다는 것을 관찰했습니다.

5. 전체 구조

• 목표는 다항 로지스틱 회귀 목적 함수, 즉 정답 라벨의 로그 확률 평균을 최대화하는 것입니다.
• 합성곱 층 하나는 파라미터가 전체의 1%도 안 되지만, 아무 합성곱 층이나 하나를 빼도 성능이 떨어졌습니다. 중간층 하나를 빼면 top-1이 약 2%p 나빠졌습니다. 논문은 깊이가 정말 중요하다고 결론짓습니다.

숫자로 해 보기 — 보폭(해설용 예): 폭 7인 입력에 폭 3 커널을 보폭 2로 적용하면 출력 폭은 $(7 - 3)/2 + 1 = 3$입니다. 보폭 4인 첫 층은 이렇게 해상도를 크게 줄여 계산을 아낍니다.

6. 과적합 줄이기 ① — 데이터 증강

파라미터가 6천만 개입니다. 1,000개 클래스이므로 학습 예제 하나가 주는 제약은 약 10비트($\log_2 1000 \approx 10$)뿐이라, 120만 장으로도 과적합 없이 배우기에 부족하다고 논문은 설명합니다.

① 무작위 자르기와 좌우 뒤집기

1. 이미지를 짧은 변이 256이 되게 줄이고 가운데 256×256을 잘라 둡니다.
2. 학습 때마다 그 안에서 무작위 224×224 조각과 그 좌우 반전을 뽑아 씁니다.
3. 테스트 때는 네 모서리 + 가운데 5조각과 각각의 반전, 모두 10조각의 소프트맥스 예측을 평균합니다.

숫자로 해 보기: 자를 위치의 여유가 가로 · 세로 각각 $256 - 224 = 32$픽셀, 뒤집기 2가지라 $32 \times 32 \times 2 = 2{,}048$배입니다. 논문이 말한 "학습 세트를 2,048배로 늘린다"와 맞아떨어집니다(해설자의 계산. 경계까지 세면 위치는 33곳이라 2,048은 어림값으로 보입니다. 물론 서로 매우 비슷한 예제들입니다). 이 방법이 없으면 큰 과적합이 생겨 훨씬 작은 신경망을 써야 했을 것이라고 씁니다. 10조각 평균을 쓰지 않으면 ILSVRC-2010 오류율은 39.0% · 18.3%였습니다.

② RGB 색 강도 바꾸기

ImageNet 학습 세트 전체의 RGB 픽셀 값에 주성분 분석(PCA)을 하고, 각 이미지의 모든 픽셀에 다음 양을 더합니다.

조명의 세기와 색이 바뀌어도 물체의 정체는 같다는 자연 이미지의 성질을 흉내 낸 것으로, top-1 오류율을 1%p 넘게 줄였습니다.

왜 계산 비용이 없나: 변환 이미지는 GPU가 이전 배치를 학습하는 동안 CPU에서 파이썬으로 만들어, 디스크에 저장할 필요가 없고 사실상 공짜라고 설명합니다.

7. 과적합 줄이기 ② — 드롭아웃

직관: 매번 팀원 절반을 무작위로 결근시키고 일하게 하면, 누구 한 명에게 기대지 않고 각자 쓸모 있는 능력을 갖추게 됩니다(해설용 비유).

단계:

1. 학습 때 은닉 뉴런의 출력을 확률 0.5로 0으로 만듭니다. 꺼진 뉴런은 순전파에도 역전파에도 참여하지 않습니다.
2. 그래서 입력마다 다른 구조를 샘플링하는 셈이지만, 모든 구조가 가중치를 공유합니다.
3. 테스트 때는 모든 뉴런을 쓰되 출력에 0.5를 곱합니다. 지수적으로 많은 드롭아웃 신경망 예측 분포의 기하 평균에 대한 합리적인 근사라고 설명합니다.

숫자로 해 보기(해설용 예): 은닉 출력이 $(2, 4, 6, 8)$일 때 학습 중 한 번은 $(2, 0, 6, 0)$, 다른 번은 $(0, 4, 0, 8)$처럼 무작위로 꺼집니다. 각 뉴런이 켜질 확률이 0.5이므로 기대값은 $(1, 2, 3, 4)$이고, 테스트 때 모두 켜고 0.5를 곱한 $(1, 2, 3, 4)$와 크기가 맞습니다.

적용 위치와 비용: 처음 두 완전연결 층에 씁니다. 드롭아웃이 없으면 큰 과적합이 생기고, 드롭아웃을 쓰면 수렴에 필요한 반복 수가 대략 두 배가 됩니다. 여러 모델을 따로 학습해 합치는 것은 며칠씩 걸리는 큰 신경망에는 너무 비싸지만, 드롭아웃은 학습 비용 약 두 배로 비슷한 효과를 낸다고 설명합니다.

8. 학습 세부

확률적 경사 하강, 배치 크기 128, 모멘텀 0.9, 가중치 감쇠 0.0005를 씁니다.

숫자로 해 보기(해설용 예): $v_i = 0$, $w_i = 1$, $\epsilon = 0.01$, 배치 기울기 $0.5$이면 $v_{i+1} = 0 - 0.0005 \times 0.01 \times 1 - 0.01 \times 0.5 = -0.005005$, $w_{i+1} \approx 0.995$입니다.

• 이 작은 가중치 감쇠는 단순한 정규화가 아니라 학습 오류 자체를 줄여 모델이 배우는 데 중요했다고 씁니다.
• 가중치는 평균 0, 표준편차 0.01 가우스로 초기화하고, 2 · 4 · 5번째 합성곱 층과 완전연결 은닉층의 편향은 1로 둬 초반에 ReLU가 양의 입력을 받게 했습니다. 나머지 편향은 0입니다.
• 학습률은 모든 층에 같게 0.01로 시작해, 검증 오류가 나아지지 않을 때마다 10으로 나눴고 끝날 때까지 세 번 줄였습니다.
• 120만 장 학습 세트를 약 90번 돌았고, GTX 580 3GB 두 장으로 5~6일 걸렸습니다.

전체 흐름

123456789flowchart TD
  A[원본 이미지] --> B[짧은 변 256 · 가운데 256x256 · 평균 빼기]
  B --> C[무작위 224x224 자르기 · 좌우 반전 · PCA 색 변화]
  C --> D[합성곱 1: 11x11 · 96개 · 보폭 4 → ReLU → LRN → 겹치는 최대 풀링]
  D --> E[합성곱 2: 5x5 · 256개 → ReLU → LRN → 풀링]
  E --> F[합성곱 3 · 4 · 5: 3x3 → ReLU → 풀링]
  F --> G[완전연결 4096 → 드롭아웃 → 4096 → 드롭아웃]
  G --> H[1000갈래 소프트맥스]
  H --> I[테스트: 10조각 예측 평균]

결과

ILSVRC-2010 테스트 세트 (표 1)

ILSVRC-2012 (표 2)

* ImageNet 2011 가을판 전체(1,500만 장 · 22,000 범주)로 먼저 학습(마지막 풀링 위에 합성곱 6번째 층 추가)한 뒤 ILSVRC-2012로 미세조정한 모델입니다. 경험상 검증 오류와 테스트 오류는 0.1%p 넘게 차이 나지 않았다고 적습니다.

ImageNet 2009 가을판(10,184 범주 · 890만 장, 절반 학습 · 절반 테스트): 합성곱 6번째 층을 더한 신경망이 top-1 67.4%, top-5 40.9%로, 발표된 최고 결과 78.1% · 60.9%보다 나았습니다.

질적 평가: 첫 층이 주파수 · 방향을 선택하는 커널과 여러 색 덩어리를 배웠습니다. 마지막 4,096차원 은닉층 특징이 가까운 학습 이미지를 찾아보면, 픽셀 수준에서는 멀어도(개 · 코끼리의 다양한 자세) 의미상 비슷한 이미지가 나왔습니다.

왜 중요한가 · 이후 영향

• 격차 자체가 사건이었습니다. ILSVRC-2012 top-5에서 15.3% 대 26.2%라는 차이는 손으로 설계한 특징(SIFT · 피셔 벡터) 위주의 컴퓨터 비전이 학습된 특징으로 넘어가는 전환점이 됐습니다(해설).
• 오늘날의 기본 부품: ReLU · 드롭아웃 · 데이터 증강 · GPU 학습 · 모멘텀 SGD와 가중치 감쇠는 이후 거의 모든 신경망의 기본값이 됐습니다.
• "더 크게, 더 오래": 논문은 결과가 신경망을 키우고 오래 학습할수록 좋아졌고, 더 빠른 GPU와 더 큰 데이터만 기다려도 나아질 것이라고 씁니다. 이 관찰은 이후 VGG · ResNet의 깊이 경쟁과 스케일링 법칙 연구로 이어지는 생각의 출발점입니다.
• 특징 재사용: 마지막 은닉층 특징으로 비슷한 이미지를 찾는 실험은, 사전 학습된 신경망의 특징을 다른 과제에 쓰는 전이 학습 · 임베딩 검색의 초기 사례입니다.

한계 · 주의할 점

• 하드웨어에 맞춘 설계: 두 GPU에 나누고 특정 층에서만 통신하는 구조는 당시 GPU 메모리(3GB)의 제약 때문입니다. 이후 신경망은 이런 분할 없이 설계됩니다.
• LRN은 오래 남지 않았습니다. 이후 연구에서 배치 정규화 등으로 대체되었습니다(해설).
• 완전 지도 학습만 사용: 저자들은 비지도 사전 학습이 도움이 될 것으로 기대하면서도 실험을 단순하게 하려고 쓰지 않았다고 밝힙니다.
• 사람 시각과의 거리: 신경망을 키우고 오래 학습할수록 나아졌지만, 사람 시각 경로(하측두엽 경로)에 견주려면 아직 몇 자릿수가 남았다고 스스로 씁니다.
• 원문 확인 범위: 그림 2의 층별 뉴런 수와 입력 크기 사이의 세부 크기 계산은 본문에 따로 풀이돼 있지 않아 이 글에서 다루지 않았습니다. 그림 · 표 자체는 옮기지 않고 수치만 요약했습니다.

이어서 읽을 것

• 앞: 문서 인식을 위한 기울기 기반 학습 (LeNet) — 같은 합성곱 신경망의 원형
• 같이: 드롭아웃 — 이 논문이 쓴 정규화 방법의 원 논문
• 뒤: VGG — 3×3 커널로 더 깊게
• 뒤: 배치 정규화 · ResNet — 훨씬 깊은 신경망을 학습시키는 방법
• 뒤: ViT · CLIP — 합성곱을 넘어선 이미지 모델

용어 정리

스스로 점검

1. ReLU를 쓰면 왜 학습이 빨라지나?

   — 양수 구간에서 기울기가 항상 1이라 tanh · 시그모이드처럼 포화해 기울기가 사라지지 않기 때문입니다. 논문은 CIFAR-10에서 25% 학습 오류까지 여섯 배 빨랐다고 보고합니다.

2. "학습 세트를 2,048배로 늘린다"는 숫자는 어디서 나오나?

   — 256×256에서 224×224를 자르는 위치의 여유가 가로 · 세로 각 32픽셀($256-224$), 좌우 뒤집기 2가지라 $32 \times 32 \times 2 = 2{,}048$입니다.

3. 드롭아웃을 쓴 신경망을 테스트할 때 출력에 0.5를 곱하는 이유는?

   — 학습 때는 각 뉴런이 확률 0.5로만 켜졌으므로, 테스트 때 모두 켜면 다음 층이 받는 값이 기대값의 두 배가 됩니다. 0.5를 곱해 크기를 맞추며, 이는 수많은 드롭아웃 신경망 예측의 기하 평균에 대한 근사입니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 아주 깊은 합성곱 신경망 (VGG) — 3×3 필터만 쌓아 깊이를 19층까지 늘리면 이미지 인식이 크게 좋아짐을 보인 논문

출처

• 원문: papers.nips.cc/paper_files/paper/2012/has… (2012 · Alex Krizhevsky 외)