생성적 적대 신경망 (GAN)

생성적 적대 신경망 (GAN)

가짜를 만드는 신경망(생성자)과 가짜를 잡아내는 신경망(판별자)을 서로 겨루게 해서, 확률 계산 없이 진짜 같은 표본을 만드는 법을 배우게 한 논문입니다. 이후 몇 년 동안 이미지 생성 연구의 중심이 된 틀입니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 딥러닝 문서로 배우기 (D2L) — 소프트맥스 · 교차 엔트로피 · ReLU MLP · 자동 미분 · PyTorch 학습 루프를 한 번에 익히는 수업
• 정보 이론 최소한: 엔트로피 · 교차 엔트로피 · KL 발산 — 정보량 → 엔트로피 → 교차 엔트로피 → KL 발산을 잇고, 분류 손실과 KL 규제의 정체를 손계산으로
• GAN 실전: 모드 붕괴 · WGAN · 조건부 GAN · StyleGAN — 최적 판별자 · 비포화 손실 · 모드 붕괴를 손계산으로 먼저 익히는 수업

한눈에 보기

• 생성 모델을 "확률을 직접 계산하는 모델"이 아니라 "판별자를 속이는 표본 생성기"로 학습할 수 있다는 것을 알게 됩니다.
• 생성자 $G$와 판별자 $D$가 하나의 값 함수 $V(D, G)$를 두고 벌이는 미니맥스 게임의 식을 읽을 수 있게 됩니다.
• 판별자가 최적일 때 이 게임이 "데이터 분포와 생성 분포 사이의 젠슨-섀넌 발산 줄이기"와 같다는 증명의 흐름을 따라갈 수 있습니다.
• 실제 학습에서 왜 $\log(1 - D(G(z)))$ 대신 $\log D(G(z))$를 키우는지, 그 실용적 이유를 숫자로 확인합니다.
• 논문이 스스로 밝힌 약점(명시적 확률 없음, 두 신경망의 동기화 문제)을 이해합니다.

초록 (번역)

우리는 적대적 과정을 통해 생성 모델을 추정하는 새로운 틀을 제안합니다. 이 틀에서는 두 모델을 동시에 학습합니다. 하나는 데이터 분포를 포착하는 생성 모델 G이고, 다른 하나는 어떤 표본이 G가 아니라 학습 데이터에서 왔을 확률을 추정하는 판별 모델 D입니다. G의 학습 절차는 D가 실수할 확률을 최대화하는 것입니다. 이 틀은 두 참가자가 벌이는 미니맥스 게임에 해당합니다. 임의의 함수 G와 D로 이루어진 공간에서는 유일한 해가 존재하며, 그 해에서 G는 학습 데이터 분포를 복원하고 D는 모든 곳에서 1/2이 됩니다. G와 D를 다층 퍼셉트론으로 정의하는 경우에는 시스템 전체를 역전파로 학습할 수 있습니다. 학습할 때든 표본을 생성할 때든 마르코프 연쇄나 펼친(unrolled) 근사 추론 신경망이 전혀 필요하지 않습니다. 실험에서는 생성된 표본을 정성적 · 정량적으로 평가해 이 틀의 잠재력을 보여 줍니다.

무엇을 풀었나

2014년 무렵 딥러닝의 큰 성공은 대부분 판별 모델(discriminative model) 에서 나왔습니다. 사진을 넣으면 "고양이"라는 라벨을 내는 식의 모델입니다. 반면 사진 자체를 새로 만들어 내는 생성 모델(generative model) 은 뒤처져 있었습니다.

이유는 확률 계산이었습니다. 당시 주류였던 볼츠만 머신(RBM · DBM) 계열은 확률을 정규화하는 분배 함수(partition function) 와 그 기울기를 정확히 계산할 수 없었습니다. 그래서 마르코프 연쇄 몬테카를로(MCMC)로 근사했는데, 연쇄가 여러 봉우리(모드) 사이를 잘 오가지 못하는 혼합(mixing) 문제가 학습을 괴롭혔습니다.

논문의 질문은 이렇습니다. "확률 밀도를 아예 쓰지 않고, 잘 되는 판별 모델과 역전파만으로 생성 모델을 학습할 수는 없을까?" 답이 적대적 학습입니다.

핵심 아이디어

1. 두 신경망의 게임 — 위조범과 경찰

직관 (논문이 직접 든 비유): 생성자는 들키지 않고 쓸 위조지폐를 만드는 위조범 팀이고, 판별자는 위조지폐를 가려내려는 경찰입니다. 서로 경쟁하다 보면 두 팀 모두 실력이 늘고, 결국 위조지폐가 진짜와 구별되지 않게 됩니다.

단계별로 보면:

1. 무작위 잡음 $z$를 하나 뽑습니다(예: 균등분포나 정규분포에서).
2. 생성자 $G$가 $z$를 받아 가짜 표본 $G(z)$를 만듭니다. 이 단계는 앞으로 한 번 계산하는 것뿐입니다.
3. 판별자 $D$는 진짜 데이터 $x$와 가짜 $G(z)$를 받아 각각 "진짜일 확률"을 0~1 사이 숫자로 냅니다.
4. $D$는 진짜에는 1, 가짜에는 0에 가깝게 답하도록 학습합니다.
5. $G$는 $D$가 자기 가짜에 1에 가까운 값을 주도록, 즉 $D$가 틀리도록 학습합니다. $G$의 기울기는 $D$를 거쳐 역전파로 들어옵니다.

수식 (논문 식 1):

기호 풀이:

첫째 항은 "진짜를 진짜라고 할수록" 커지고, 둘째 항은 "가짜를 가짜라고 할수록" 커집니다. 판별자 입장에서는 이진 분류의 로그 가능도(log-likelihood)와 같습니다. 논문도 $D$의 목표를 "$x$가 $p_{\text{data}}$에서 왔는지($y=1$) $p_g$에서 왔는지($y=0$)를 맞히는 조건부 확률의 로그 가능도 최대화"로 해석할 수 있다고 적습니다.

숫자로 해 보기 (해설용 예시 — 논문 수치 아님):

진짜 표본 하나에 $D(x) = 0.9$, 가짜 표본 하나에 $D(G(z)) = 0.2$라고 하겠습니다(자연로그 기준).

• 첫째 항: $\log 0.9 \approx -0.105$
• 둘째 항: $\log(1 - 0.2) = \log 0.8 \approx -0.223$
• 합: $V \approx -0.328$

판별자가 완벽하면($D(x)=1$, $D(G(z))=0$) $V = 0$이 최댓값입니다. 반대로 판별자가 아무것도 모르고 모든 입력에 $0.5$를 내면 $V = \log 0.5 + \log 0.5 = -\log 4 \approx -1.386$입니다. 이 $-\log 4$가 뒤에서 다시 나옵니다.

왜 이렇게 했나: 이전 방법은 $p(x)$ 자체를 모델로 정의하고 그 가능도를 키웠습니다. 그러면 정규화 상수 계산이나 근사 추론이 따라붙습니다. GAN은 $p(x)$를 쓰지 않고 "구별할 수 있느냐"만 묻습니다. 구별은 분류 문제이고, 분류는 당시 역전파 · 드롭아웃 · 조각별 선형 유닛(ReLU, maxout)으로 이미 잘 풀리던 문제였습니다.

2. 판별자가 최적이면 무엇이 되나

직관: 어떤 지점 $x$에서 진짜가 나올 가능성과 가짜가 나올 가능성을 둘 다 안다면, 가장 좋은 판정은 "진짜 비율"을 그대로 말하는 것입니다.

단계별로 보면:

1. 생성자 $G$를 고정합니다.
2. 기댓값을 적분으로 바꾸면 $V$는 $x$마다 $p_{\text{data}}(x)\log D(x) + p_g(x)\log(1 - D(x))$를 더한 것이 됩니다(논문 식 3).
3. 각 $x$에서 이 값을 가장 크게 만드는 $D(x)$를 따로 고르면 됩니다.
4. 함수 $y \mapsto a\log y + c\log(1-y)$는 $[0,1]$에서 $y = a/(a+c)$일 때 최대가 됩니다.

수식 (논문 명제 1 · 식 2):

기호 풀이:

• $D^*_G$: 생성자가 $G$로 고정됐을 때의 최적 판별자
• 분자: 그 지점에서 진짜 데이터의 밀도
• 분모: 진짜와 가짜 밀도의 합

($a$, $c$는 위 4단계의 일반식에서 각각 $p_{\text{data}}(x)$, $p_g(x)$ 자리입니다. 논문은 두 번째 계수를 $b$로 씁니다.)

숫자로 해 보기 (해설용):

어떤 $x$에서 $p_{\text{data}}(x) = 0.6$, $p_g(x) = 0.2$라면 $D^* = 0.6 / 0.8 = 0.75$입니다. 그 지점에선 "진짜일 확률 75%"가 최선의 답입니다. 생성자가 좋아져 $p_g(x) = 0.6$이 되면 $D^* = 0.6/1.2 = 0.5$, 즉 판별자가 반반으로 손을 듭니다.

3. 게임의 답은 "진짜 분포와 똑같아지기"

직관: 판별자가 늘 최선을 다한다고 가정하면, 생성자가 줄이는 값은 "두 분포가 얼마나 다른가"를 재는 거리와 같아집니다. 거리가 0이 되는 유일한 경우는 두 분포가 같을 때입니다.

단계별로 보면:

1. 최적 판별자 $D^*_G$를 $V$에 넣은 값을 $C(G)$라 부릅니다(논문 식 4).
2. $p_g = p_{\text{data}}$이면 모든 곳에서 $D^* = 1/2$이고, $C(G) = \log\frac12 + \log\frac12 = -\log 4$입니다.
3. 일반적인 경우 $C(G)$에서 $-\log 4$를 빼면 KL 발산 두 개의 합이 남습니다(식 5).
4. 이 합은 젠슨-섀넌 발산(JSD)의 두 배입니다(식 6).
5. JSD는 항상 0 이상이고 두 분포가 같을 때만 0이므로, $C(G)$의 전역 최솟값은 $-\log 4$이고 그때 $p_g = p_{\text{data}}$입니다(정리 1).

수식 (논문 식 5 · 6):

기호 풀이:

• $\mathrm{KL}(p\|q)$: 쿨백-라이블러 발산. $q$로 $p$를 흉내 낼 때 생기는 정보 손실. 0 이상이고, 대칭이 아닙니다.
• $\frac{p_{\text{data}} + p_g}{2}$: 두 분포를 반반 섞은 분포
• $\mathrm{JSD}$: 젠슨-섀넌 발산. 두 분포를 각각 "반반 섞은 분포"와 비교한 KL의 평균. 대칭이고 0 이상입니다.

숫자로 해 보기 (해설용 — 점 두 개짜리 장난감 분포):

데이터가 두 값 A, B만 갖는다고 하겠습니다. 진짜 분포 $p_{\text{data}} = (0.5,\ 0.5)$, 아직 서툰 생성자 $p_g = (0.9,\ 0.1)$입니다.

• $C(G) \approx -0.515 - 0.398 - 0.091 - 0.179 = -1.183$
• $-\log 4 \approx -1.386$이므로 차이는 약 $0.203$
• 따라서 $2\cdot\mathrm{JSD} \approx 0.203$, $\mathrm{JSD} \approx 0.102$ (자연로그 단위)

생성자가 $p_g = (0.5, 0.5)$로 배우면 표의 $D^*$가 모두 $0.5$가 되고 $C(G) = -1.386$으로 떨어집니다. 생성자가 할 일은 이 차이 $0.203$을 0으로 만드는 것입니다.

주의: 이 증명은 $G$와 $D$가 무한한 표현력을 가진다고 보는 비모수(nonparametric) 설정의 결과입니다. 실제 신경망은 $p_g$ 자체가 아니라 매개변수 $\theta_g$를 최적화하고, 다층 퍼셉트론은 매개변수 공간에 여러 임계점을 만듭니다. 논문은 이론적 보장이 없더라도 다층 퍼셉트론이 실제로 잘 동작하므로 합리적인 선택이라고 봅니다.

4. 실제 학습 절차 — 번갈아 한 걸음씩

직관: 경찰을 완벽하게 훈련시킨 다음 위조범을 한 번 훈련시키는 방식은 너무 비쌉니다. 대신 경찰을 조금, 위조범을 조금씩 번갈아 훈련합니다.

단계별로 보면 (논문 알고리즘 1):

1. 판별자를 $k$단계 학습합니다. 각 단계에서 잡음 $m$개, 진짜 데이터 $m$개를 미니배치로 뽑고, 아래 값을 올라가는 방향(경사 상승)으로 $\theta_d$를 바꿉니다.
2. 잡음 $m$개를 새로 뽑고, 생성자 손실을 내려가는 방향(경사 하강)으로 $\theta_g$를 바꿉니다.
3. 1~2를 반복합니다.

수식:

기호 풀이:

• $m$: 미니배치 크기
• $k$: 생성자 한 번 학습할 때 판별자를 학습하는 횟수. 논문 실험에서는 가장 싼 선택인 $k = 1$을 썼습니다.
• 갱신 규칙은 어떤 표준 경사 기반 방법이든 쓸 수 있으며, 논문 실험은 모멘텀을 썼습니다.

왜 이렇게 했나: 안쪽 루프에서 $D$를 끝까지 최적화하면 계산이 감당할 수 없고, 유한한 데이터에서는 과적합도 생깁니다. $G$가 충분히 천천히 바뀐다면 $k$번만 갱신해도 $D$가 최적 근처에 머문다는 것이 논문의 설명입니다.

5. 실전 요령 — 생성자 손실을 뒤집기

직관: 학습 초반에 생성자는 형편없어서 판별자가 가짜를 쉽게 알아봅니다. 이때 원래 식 그대로면 생성자가 받는 기울기가 거의 0이 되어 배우지를 못합니다. 그래서 "판별자가 틀릴 확률을 줄이기" 대신 "판별자가 속을 확률을 키우기"로 목표를 바꿉니다.

단계별로 보면:

1. 원래 목표: $\log(1 - D(G(z)))$를 줄이기
2. 바꾼 목표: $\log D(G(z))$를 키우기
3. 두 목표는 $G$와 $D$의 동역학에서 같은 고정점을 갖지만, 바꾼 쪽이 학습 초반에 훨씬 강한 기울기를 줍니다(논문 3절).

숫자로 해 보기 (해설용 — 판별자 마지막 층을 시그모이드 $D = \sigma(a)$로 가정):

판별자가 가짜를 거의 확신해 $D(G(z)) = 0.01$이라고 하겠습니다. 생성자의 기울기는 로짓 $a$를 거쳐 흘러갑니다.

• 원래 목표 $\log(1-\sigma(a))$의 $a$에 대한 기울기: $-\sigma(a) = -0.01$ → 크기 0.01
• 바꾼 목표 $\log\sigma(a)$의 $a$에 대한 기울기: $1-\sigma(a) = 0.99$ → 크기 0.99

같은 상황에서 기울기 크기가 약 99배 차이 납니다. 원래 식은 "이미 크게 지고 있을 때" 포화(saturate)되어 신호가 사라지고, 바꾼 식은 그때 오히려 신호가 큽니다. (이 99배는 위 가정에서 직접 계산한 설명용 숫자이며, 논문은 "훨씬 강한 기울기"라고만 적었습니다.)

6. 이론적 수렴 (명제 2)

$G$와 $D$가 충분한 표현력을 가지고, 매 단계 $D$가 주어진 $G$에 대해 최적에 도달하며, $p_g$를 기준식이 좋아지는 방향으로 갱신한다면 $p_g$는 $p_{\text{data}}$로 수렴합니다. 근거는 $D$를 최적으로 둔 기준이 $p_g$에 대해 볼록(convex)하고 전역 최적이 하나뿐이라는 점입니다. 다시 한 번, 이것은 $p_g$를 직접 움직인다는 이상적 가정 아래의 결과입니다.

처리 흐름

12345678910flowchart LR
    Z[잡음 z ~ p_z] --> G[생성자 G]
    G --> F[가짜 표본 G z]
    R[진짜 데이터 x ~ p_data] --> D[판별자 D]
    F --> D
    D --> P[진짜일 확률 0~1]
    P --> LD[D 갱신: 진짜는 1 · 가짜는 0 쪽으로 k번]
    P --> LG[G 갱신: D가 가짜를 진짜로 보게 1번]
    LG -. D를 거친 역전파 .-> G
    LD -. 반복 .-> D

결과

실험 설정 (원문 기준)

• 데이터셋: MNIST, 토론토 얼굴 데이터베이스(TFD), CIFAR-10
• 생성자: ReLU와 시그모이드 활성화를 섞어 씀. 잡음은 생성자 맨 아래층 입력으로만 넣음
• 판별자: maxout 활성화, 학습 시 드롭아웃 적용
• 평가: 생성 표본에 가우시안 파젠 창(Parzen window)을 맞춰 테스트 데이터의 로그 가능도를 추정. 창 폭 $\sigma$는 검증 세트 교차 검증으로 정함

파젠 창 기반 로그 가능도 추정 (논문 표 1, 클수록 좋음)

• MNIST에서는 비교 모델 중 가장 높았고, TFD에서는 Stacked CAE(2110)보다 낮았습니다.
• 논문은 이 추정법이 분산이 꽤 크고 고차원에서 잘 동작하지 않지만, 저자들이 아는 한 가장 나은 방법이라고 밝힙니다.
• 생성 표본(그림 2)은 골라낸 것이 아닌 공정한 무작위 추출이며, 가장 오른쪽 열에 가장 가까운 학습 예를 보여 학습 데이터를 외운 것이 아님을 보입니다. 마르코프 연쇄 혼합에 의존하지 않으므로 표본끼리 상관이 없습니다.
• 논문은 이 표본이 기존 방법보다 낫다고 주장하지는 않고, "문헌의 더 나은 생성 모델과 적어도 겨룰 만하다"고 봅니다.

왜 중요한가 · 이후 영향

• "구별"로 "생성"을 배운다는 발상: 확률 밀도를 명시하지 않는 암묵적 생성 모델을 역전파만으로 학습하는 길을 열었습니다. 이후 이미지 생성 연구가 한동안 이 틀을 중심으로 돌아갔고, 2020년 DDPM 논문도 비교 대상으로 BigGAN · StyleGAN2 · ProgressiveGAN 같은 GAN 계열을 듭니다.
• 조건부 생성의 출발점: 논문은 결론에서 $G$와 $D$ 모두에 조건 $c$를 입력으로 넣으면 조건부 모델 $p(x \mid c)$를 얻는다고 적었습니다. 클래스 · 텍스트 조건 생성으로 이어지는 방향입니다.
• 날카로운 분포를 표현: 마르코프 연쇄 기반 방법은 모드 사이를 오가려면 분포가 어느 정도 흐릿해야 하지만, 적대적 신경망은 매우 날카로운(심지어 퇴화한) 분포도 표현할 수 있다고 논문은 설명합니다.
• 판별자 특징의 재사용: 라벨이 적을 때 판별자의 특징을 분류기에 쓰는 준지도 학습을 향후 방향으로 제시했습니다.

한계 · 주의할 점

• 명시적인 확률 $p_g(x)$가 없습니다. 표본은 만들 수 있지만 "이 이미지의 확률은 얼마인가"를 바로 답하지 못합니다. 그래서 평가도 파젠 창 같은 간접 추정에 기댔고, 논문 스스로 이런 모델의 평가법 연구가 더 필요하다고 적었습니다.
• 두 신경망의 동기화가 필요합니다. 특히 $D$를 갱신하지 않고 $G$만 너무 많이 학습하면, $G$가 너무 많은 $z$를 같은 $x$로 몰아 다양성이 사라지는 상황이 생깁니다. 논문은 이를 "헬베티카 시나리오(Helvetica scenario)"라 부르며, 후속 연구에서 흔히 말하는 모드 붕괴(mode collapse) 에 해당합니다.
• 이론과 실제의 간극: 수렴 증명은 무한 용량 · 매 단계 최적 판별자 · $p_g$ 직접 갱신을 가정합니다. 실제 신경망 학습에는 이 보장이 그대로 적용되지 않습니다.
• 실험 규모가 작습니다. 데이터셋은 MNIST · TFD · CIFAR-10이고, 정량 평가는 MNIST · TFD 두 곳의 파젠 창 추정뿐입니다. 고해상도 이미지 품질에 대한 결과는 이 논문에 없습니다.

이어서 읽을 것

• 같은 해의 다른 길: VAE — 자동 인코딩 변분 베이즈 (가능도의 하한을 직접 키우는 생성 모델. GAN 논문도 관련 연구로 언급)
• 뒤: DDPM — 잡음 제거 확산 확률 모델 (GAN 계열과 표본 품질을 비교하며 확산 모델 시대를 연 논문)
• 학습 도구: 역전파 (1986) · Adam · 배치 정규화
• 이미지 생성과 언어의 연결: CLIP

용어 정리

스스로 점검

1. 생성자 $G$를 고정했을 때 최적 판별자는 무엇이고, $p_g = p_{\text{data}}$일 때 그 값은 얼마인가요?

답: $D^*_G(x) = p_{\text{data}}(x) / (p_{\text{data}}(x) + p_g(x))$입니다. 두 분포가 같으면 분자가 분모의 절반이라 모든 곳에서 $1/2$이 되고, 이때 $C(G) = -\log 4$로 전역 최솟값입니다.

2. 실제 학습에서 생성자가 $\log(1 - D(G(z)))$를 줄이는 대신 $\log D(G(z))$를 키우는 이유는 무엇인가요?

답: 학습 초반 $G$가 서툴면 $D$가 가짜를 확신해 $\log(1 - D(G(z)))$가 포화되고 기울기가 거의 사라집니다. 바꾼 목표는 같은 고정점을 가지면서 초반에 훨씬 강한 기울기를 줍니다.

3. 논문이 스스로 밝힌 GAN의 주요 단점 두 가지는 무엇인가요?

답: 첫째, $p_g(x)$를 명시적으로 표현하지 않아 확률을 바로 계산할 수 없습니다. 둘째, $D$와 $G$를 잘 맞춰 학습해야 하며, $D$ 갱신 없이 $G$만 많이 학습하면 여러 $z$가 같은 $x$로 몰려 다양성이 사라집니다(헬베티카 시나리오).

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 확산 모델 실전: 샘플링 · DDIM · 가이던스 · 잠재 확산 — 지금 이미지 생성의 주류인 확산 모델을 샘플링 · 가이던스까지 정리합니다
• 변분 오토인코더 (VAE) — 재매개변수화 트릭으로 인코더 · 디코더를 경사하강법으로 함께 학습하는 확률적 생성 모델

출처

• 원문: arxiv.org/abs/1406.2661 (2014 · Ian J. Goodfellow 외)
• 코드 · 하이퍼파라미터(원문 각주): github.com/goodfeli/adversarial