최대우도 추정과 MAP: 손실 함수는 어디서 오나

최대우도 추정과 MAP: 손실 함수는 어디서 오나

평균 제곱 오차(MSE)와 교차 엔트로피는 누군가 임의로 고른 손실이 아닙니다. "데이터가 이런 확률 모델에서 나왔다"고 가정하고, 관측한 데이터가 나올 가능성(우도)을 가장 크게 하는 파라미터를 찾으면 저절로 나옵니다. 이 수업은 동전 던지기로 최대우도 추정(MLE)을 손으로 풀고, 가우시안 잡음 → MSE, 베르누이 · 범주 분포 → 교차 엔트로피, 라플라스 잡음 → MAE를 유도한 뒤, 사전 믿음을 더한 MAP가 L2 · L1 정규화와 같다는 것을 보입니다.

들어가기 전에

• 확률과 통계 최소한: 기댓값 · 분산 · 조건부 확률 · 베이즈 정리 — 정규분포의 식과 베이즈 정리(사후 ∝ 우도 × 사전)를 알고 오면 됩니다.
• 정보 이론 최소한: 엔트로피 · 교차 엔트로피 · KL 발산 — 7절에서 MLE를 KL 발산 최소화로 다시 읽습니다.

한눈에 보기

• 우도(likelihood)는 "파라미터를 바꿔 가며 본, 관측 데이터가 나올 확률"임을 압니다.
• 동전 10번 중 앞면 7번에서 최대우도 추정값 0.7을 미분으로 직접 구합니다.
• 잡음이 가우시안이면 MLE = 최소제곱(MSE), 라벨이 베르누이 · 범주 분포면 MLE = 교차 엔트로피 최소화임을 유도합니다.
• 사전 분포를 더한 MAP 추정이 L2(가우시안 사전) · L1(라플라스 사전) 정규화와 같다는 것을 압니다.
• MLE가 "데이터 분포와 모델 분포 사이의 KL 발산을 줄이는 것"과 같다는 연결을 봅니다.

1. 확률과 우도: 같은 식, 다른 질문

직관(해설용 비유): 확률은 "동전이 공정하다면(파라미터 고정) 10번 중 앞면 7번이 나올 가능성은?"을 묻고, 우도는 "앞면 7번을 이미 봤다(데이터 고정). 어떤 동전이었을 가능성이 큰가?"를 묻습니다. 식은 같지만 무엇을 움직이느냐가 다릅니다.

최대우도 원리(maximum likelihood principle): 관측한 데이터를 가장 그럴듯하게 만드는 $\theta$를 고릅니다. $\hat{\theta}_{\text{MLE}} = \arg\max_\theta \mathcal{L}(\theta)$.

2. 동전 던지기로 MLE 손으로 풀기

숫자로 해 보기(해설용, 파이썬으로 검산): 10번 던져 앞면 7번, 뒷면 3번이 나왔습니다. 앞면 확률을 $p$라 하면 $\mathcal{L}(p) = p^7(1 - p)^3$입니다.

표에서 0.7 근처가 가장 큽니다. 정확한 답은 미분으로 구합니다.

1. 로그를 취합니다: $\ln\mathcal{L}(p) = 7\ln p + 3\ln(1 - p)$
2. 미분해 0으로 놓습니다: $\dfrac{7}{p} - \dfrac{3}{1 - p} = 0$
3. 풀면 $7(1 - p) = 3p$ → $\hat{p} = 7/10 = 0.7$

일반적으로 $n$번 중 앞면 $h$번이면 $\hat{p} = h/n$ — 상식적인 "비율"이 바로 최대우도 추정값입니다.

3. 왜 로그를 취하나: 음의 로그 우도

이유 셋:

1. 곱이 합이 됩니다. $\ln\prod p_i = \sum \ln p_i$. 합은 미분하기도, 미니배치로 나누기도 쉽습니다.
2. 수치가 안전해집니다. 확률을 수천 개 곱하면 컴퓨터가 표현할 수 있는 가장 작은 수보다 작아져 0이 됩니다. 예를 들어 $0.5^{1000} \approx 9.3 \times 10^{-302}$이고, 64비트 부동소수점에서 $0.5^{1100}$은 0이 되어 버립니다(해설용 계산). 로그로는 $1100 \times \ln 0.5 \approx -762.5$로 문제없습니다.
3. 로그는 증가 함수라 최댓값의 위치가 바뀌지 않습니다.

최적화 도구는 보통 "최소화"를 하므로, 부호를 바꾼 음의 로그 우도(negative log-likelihood, NLL)를 손실로 씁니다.

D2L의 'Maximum Likelihood' 부록도 같은 이유로 음의 로그 우도를 수치 최적화의 목표로 씁니다.

4. 가우시안 잡음 → 평균 제곱 오차

가정: 정답은 "모델 예측 + 정규분포 잡음"입니다. $y_i = \mathbf{w}^\top\mathbf{x}_i + \varepsilon_i$, $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$.

음의 로그 우도를 쓰면

첫 항은 $\mathbf{w}$와 무관하고, 둘째 항의 $\frac{1}{2\sigma^2}$은 양수 상수배입니다. 따라서 NLL을 최소화하는 $\mathbf{w}$ = 제곱 오차 합을 최소화하는 $\mathbf{w}$ — 최소제곱이 곧 최대우도입니다.

숫자로 해 보기(해설용, 파이썬으로 검산): 원점을 지나는 직선 $y = wx$에 데이터 $(1, 2.1), (2, 3.9), (3, 6.2)$를 맞춥니다. 제곱 오차를 $w$로 미분해 0으로 놓으면 $\hat{w} = \frac{\sum x_i y_i}{\sum x_i^2} = \frac{2.1 + 7.8 + 18.6}{1 + 4 + 9} = \frac{28.5}{14} \approx 2.036$입니다. 같은 가정에서 잡음 분산의 MLE는 잔차 제곱의 평균 $\hat{\sigma}^2 = \frac{1}{n}\sum r_i^2 \approx 0.0140$입니다.

왜 이걸 알아야 하나: "MSE를 쓴다"는 말 속에는 "오차가 대칭이고 큰 오차는 드물다(정규분포)"는 가정이 숨어 있습니다. 이상치가 많은 데이터라면 이 가정이 틀리고, 5절의 다른 손실이 더 맞을 수 있습니다.

5. 다른 잡음 · 라벨 가정 → 다른 손실

베르누이 라벨 → 이진 교차 엔트로피

라벨 $y \in \{0, 1\}$이 확률 $\hat{p} = \sigma(\mathbf{w}^\top\mathbf{x})$의 베르누이 분포를 따른다고 하면 $p(y \mid \mathbf{x}) = \hat{p}^{y}(1 - \hat{p})^{1 - y}$이고, NLL은

— 로지스틱 회귀의 이진 교차 엔트로피(로그 손실) 그대로입니다.

숫자로 해 보기(해설용): 정답 $y = 1$에 대해 모델이 $\hat{p} = 0.8$이면 손실 $-\ln 0.8 \approx 0.223$, $\hat{p} = 0.2$면 $-\ln 0.2 \approx 1.609$입니다. 자신 있게 틀릴수록 손실이 급격히 커집니다.

범주 분포 → 교차 엔트로피

클래스가 $K$개이고 모델이 소프트맥스 확률 $\hat{\mathbf{p}}$를 내면, 정답 클래스 $c$의 NLL은 $-\ln \hat{p}_c$입니다. 원-핫 정답 $\mathbf{y}$로 쓰면 $-\sum_k y_k \ln \hat{p}_k$ — 다중 분류의 교차 엔트로피입니다. LLM의 다음 토큰 예측 손실도 정확히 이것입니다(언어 모델의 기본).

라플라스 잡음 → 평균 절대 오차

잡음이 라플라스 분포 $p(\varepsilon) \propto \exp(-|\varepsilon|/b)$를 따르면 NLL은 $\frac{1}{b}\sum|y_i - \hat{y}_i| + $ 상수, 즉 평균 절대 오차(MAE)가 됩니다. 라플라스 분포는 정규분포보다 꼬리가 두꺼워 큰 오차를 "있을 법한 일"로 봅니다.

숫자로 해 보기(해설용): 데이터 $\{1, 2, 3, 10\}$을 상수 $c$ 하나로 요약합니다.

MSE는 평균 4에서 가장 작고, MAE는 2와 3 사이 어디서나(중앙값 포함) 2.5로 가장 작습니다. 이상치 10이 MSE의 답(평균)은 끌어당기지만 MAE의 답(중앙값)은 거의 흔들지 못합니다.

6. MAP: 사전 믿음을 더하기

직관(해설용 비유): 동전을 딱 한 번 던져 앞면이 나왔다고 "이 동전은 100% 앞면만 나온다"고 결론 내리는 사람은 없습니다. 우리는 "동전은 대체로 공정하다"는 사전 믿음(prior)을 갖고 있기 때문입니다. MAP(Maximum A Posteriori) 추정은 베이즈 정리로 이 믿음을 우도와 합칩니다.

가우시안 사전 = L2 정규화

가중치마다 $w_j \sim \mathcal{N}(0, \tau^2)$라고 믿으면 $-\ln p(\mathbf{w}) = \frac{1}{2\tau^2}|\mathbf{w}|_2^2 + $ 상수입니다. 4절의 가우시안 우도와 합치고 $2\sigma^2$를 곱하면

— 릿지 회귀(L2 정규화)입니다. 사전 분산 $\tau^2$이 작을수록(가중치가 0 근처라고 강하게 믿을수록) $\lambda$가 커집니다.

라플라스 사전 = L1 정규화

$w_j$가 라플라스 분포를 따른다고 믿으면 $-\ln p(\mathbf{w}) \propto \|\mathbf{w}\|_1$이 되어 라쏘(L1 정규화)가 나옵니다. 라플라스 분포는 0에서 뾰족해, 많은 가중치가 정확히 0이 되는 희소한 해를 선호합니다. 실제 효과는 선형 회귀: 릿지 · 라쏘에서 봅니다.

동전 다시 보기: 베타 사전

동전의 앞면 확률에 사전 $\text{Beta}(a, b)$를 두면(공정한 쪽을 믿는다면 예: $a = b = 2$) MAP 추정은

입니다(해설용으로 결과만 씁니다). $\text{Beta}(2, 2)$에서

• 10번 중 7번: $\frac{7 + 1}{10 + 2} = \frac{8}{12} \approx 0.667$ (MLE 0.7보다 0.5 쪽으로 조금 당겨짐)
• 1번 중 1번: $\frac{1 + 1}{1 + 2} = \frac{2}{3}$ (MLE는 극단적인 1.0)

데이터가 적을수록 사전의 영향이 크고, 데이터가 많아지면 MLE에 가까워집니다. 정규화가 "데이터가 적을 때 과적합을 막는" 이유가 이렇게 설명됩니다.

123456789flowchart LR
  A[데이터 생성 가정] --> B[우도 p 데이터 given θ]
  B --> C[음의 로그 우도 NLL]
  C --> D[MLE: NLL 최소화]
  D --> E[가우시안 → MSE / 베르누이 → 로그 손실 / 범주 → 교차 엔트로피]
  F[사전 믿음 p θ] --> G[−ln p θ = 정규화 항]
  C --> H[MAP: NLL + 정규화 항]
  G --> H
  H --> I[가우시안 사전 → L2 / 라플라스 사전 → L1]

7. MLE는 KL 발산을 줄이는 것

직관: 데이터가 정말로 나온 분포를 $p_{\text{data}}$, 모델 분포를 $q_\theta$라 하면, 예제 수가 많을 때 평균 NLL은 교차 엔트로피 $H(p_{\text{data}}, q_\theta)$로 다가갑니다.

$H(p_{\text{data}})$는 $\theta$와 무관하므로, NLL 최소화 = 데이터 분포에서 모델 분포까지의 KL 발산 최소화입니다. 정보 이론 최소한의 "교차 엔트로피 = 엔트로피 + KL"이 여기서 손실 함수의 정당성이 됩니다. 생성 모델(VAE, 확산 모델)도 결국 이 KL을 줄이는 다양한 방법으로 볼 수 있습니다.

한계: MLE는 점 하나만 고릅니다. 불확실성까지 알고 싶다면 사후 분포 전체를 다루는 베이즈 추론이 필요하고, 확률적 머신러닝 입문이 이를 자세히 다룹니다.

연습 문제

1. 20번 던져 앞면 5번이 나왔습니다. MLE와 $\text{Beta}(2, 2)$ 사전의 MAP 추정값은?

풀이: MLE $= 5/20 = 0.25$, MAP $= (5 + 1)/(20 + 2) = 6/22 \approx 0.273$입니다.

2. 회귀에서 이상치가 많다면 MSE와 MAE 중 무엇이 더 알맞고, 그 이유를 확률 가정으로 설명하세요.

풀이: MAE입니다. MAE는 꼬리가 두꺼운 라플라스 잡음을 가정한 MLE라서 큰 오차에 덜 민감합니다. MSE는 정규분포(큰 오차가 매우 드묾)를 가정해 이상치에 크게 끌려갑니다.

3. 정답 클래스에 대한 모델 확률이 0.5에서 0.9로 오르면 교차 엔트로피 손실은 얼마나 줄어드나요?

풀이: $-\ln 0.5 \approx 0.693$에서 $-\ln 0.9 \approx 0.105$로, 약 $0.588$ 줄어듭니다.

4. 릿지 회귀의 $\lambda$를 키우는 것은 사전 분포의 관점에서 무엇을 뜻하나요?

풀이: $\lambda = \sigma^2/\tau^2$이므로 사전 분산 $\tau^2$을 줄이는 것, 즉 "가중치가 0 근처에 있다"는 믿음을 더 강하게 갖는 것입니다.

스스로 점검

1. 확률과 우도는 어떻게 다른가요?
   • 답: 같은 식 $p(\text{데이터} \mid \theta)$를 확률은 $\theta$를 고정하고 데이터의 함수로, 우도는 데이터를 고정하고 $\theta$의 함수로 봅니다. 우도는 $\theta$에 대해 합이 1일 필요가 없습니다.
2. 신경망 분류기에 교차 엔트로피를 쓰는 근거는?
   • 답: 라벨이 모델이 낸 범주 분포를 따른다고 가정하면, 그 음의 로그 우도가 곧 교차 엔트로피이기 때문입니다. 최대우도 원리를 따르는 선택입니다.
3. MAP와 MLE는 데이터가 아주 많아지면 어떻게 되나요?
   • 답: 우도 항이 데이터 수만큼 커지는 반면 사전 항은 그대로라, 사전의 영향이 줄어 MAP가 MLE에 가까워집니다.

용어 정리

더 깊이 보려면

D2L 부록 'Maximum Likelihood'는 최대우도 원리, 구체적인 동전 예, 수치 최적화와 음의 로그 우도, 연속 변수의 최대우도를 다룹니다. 『Mathematics for Machine Learning』 8장(When Models Meet Data)은 경험적 위험 최소화 · 파라미터 추정(MLE · MAP) · 확률 모델링을, 9장(Linear Regression)은 MLE · MAP · 베이즈 선형 회귀를 같은 흐름으로 정리합니다.

다음에 볼 것

• 머신러닝을 위한 수학 — 수학 트랙에서 배운 내용을 증명과 함께 한 권으로 다시 봅니다.
• 중간 점검: 수학 트랙 — 문제를 풀며 수학 트랙 전체를 확인합니다.
• 선형 회귀: 최소제곱 · 정규방정식 · 릿지 · 라쏘 — 오늘 유도한 MSE와 L2 · L1을 실제 모델에 씁니다(머신러닝 트랙).

라이선스

이 글은 원문 번역이 아니라 KAITABASE가 직접 쓴 해설이며, 숫자 예는 모두 설명용으로 만들고 파이썬으로 다시 계산해 확인했습니다. 참고 자료 D2L은 CC BY-SA 4.0으로 공개되어 있고, 『Mathematics for Machine Learning』은 저자들이 무료 PDF를 제공하는 저작권 보호 도서입니다.

출처

• 참고: d2l.ai/chapter_appendix-mathematics-for-d… (D2L, Maximum Likelihood)
• 참고: mml-book.github.io (Mathematics for Machine Learning, 8장 · 9장)