확률과 통계 최소한: 기댓값 · 분산 · 조건부 확률 · 베이즈 정리

강의 · 입문자 · KAITABASE 정리

원제 · Probability and Statistics (D2L 2.6 참고)

기댓값 · 분산 · 조건부 확률 · 베이즈 정리 · 정규분포를 손계산으로 익히는 확률 최소한

먼저 알아야 할 것

분수 · 곱셈합 기호 Σ평균

다루는 내용

머신러닝 · 강화학습 논문을 읽는 데 필요한 확률 언어를 자체 해설로 정리한 수업입니다. 확률변수와 분포, 기댓값 · 분산과 기댓값의 선형성, 결합 · 주변 · 조건부 확률과 독립, 베이즈 정리(검사 양성 예), 정규분포, 표본평균과 표준오차를 작은 숫자로 직접 계산하고 손실 함수 · 평가 지표와의 연결을 짚습니다.

확률과 통계 최소한: 기댓값 · 분산 · 조건부 확률 · 베이즈 정리

머신러닝 모델은 "정답일 확률"을 내놓고, 손실 함수는 그 확률로 정의되며, 강화학습은 "보상의 기댓값"을 최대화합니다. 이 수업은 이 섹션의 논문을 읽는 데 필요한 확률 언어 — 확률변수 · 기댓값 · 분산 · 결합/조건부 확률 · 독립 · 베이즈 정리 · 정규분포 · 표본평균 — 를 손계산으로 익힙니다.

항목	내용
참고 자료	Dive into Deep Learning 2.6절 Probability and Statistics · d2l.ai/chapter_preliminaries/probability.html
트랙 · 수준	수학 · 기초
이 수업의 범위	확률변수, 기댓값 · 분산, 결합 · 주변 · 조건부 확률, 독립, 베이즈 정리, 정규분포, 표본평균과 표준오차
먼저 알면 좋은 것	분수 · 곱셈, 합 기호 $\sum$ , 평균

들어가기 전에

최적화 기초: 경사 하강법 · 볼록성 · 라그랑주 승수 — 경사 하강과 학습률 · 볼록성 · 안장점 · SGD와 미니배치 · 라그랑주 승수를 숫자로 익히는 최적화 기초
머신러닝을 위한 수학 — 합 기호 $\sum$ 과 벡터 표기에 익숙해지면 이 수업의 식이 쉽게 읽힙니다. 미분은 이 수업에서 쓰지 않습니다.

한눈에 보기

확률변수와 확률분포가 무엇인지, 이산 · 연속을 구별합니다.
기댓값과 분산을 주사위로 직접 계산하고, "기댓값의 선형성"을 씁니다.
결합 · 주변 · 조건부 확률을 표 하나로 계산하고, 독립의 뜻을 압니다.
베이즈 정리로 "검사 양성인데 실제로 병이 있을 확률"이 왜 생각보다 낮은지 계산합니다.
정규분포와 표본평균, 표준오차가 실험 결과를 읽을 때 어떻게 쓰이는지 압니다.

1. 확률변수와 분포

직관(해설용 비유): 확률변수는 "아직 던지지 않은 주사위의 눈"입니다. 값은 정해지지 않았지만, 어떤 값이 얼마나 자주 나올지는 압니다. 그 '얼마나 자주'를 적은 표가 확률분포입니다.

이산 확률변수(discrete random variable): 셀 수 있는 값만 갖습니다. 주사위 눈, 다음에 올 단어, 클래스 번호.
연속 확률변수(continuous random variable): 실수 구간의 값을 갖습니다. 키, 온도, 로봇 관절 각도.

이산이면 각 값의 확률 $P(X = x)$ 를, 연속이면 확률밀도함수(PDF) $p(x)$ 를 씁니다. 연속에서는 한 점의 확률이 0이고, 구간의 넓이가 확률입니다. 어느 쪽이든 전체 합(또는 넓이)은 1입니다.

\sum_x P(X = x) = 1, \qquad \int p(x)\,dx = 1

머신러닝과의 연결: 분류 모델의 소프트맥스 출력 $(0.7, 0.2, 0.1)$ 은 "클래스라는 확률변수"의 분포입니다. LLM은 다음 토큰이라는 확률변수의 분포를 수만 개 칸에 대해 내놓습니다.

2. 기댓값과 분산

직관: 기댓값은 "아주 많이 반복했을 때의 평균", 분산은 "평균에서 얼마나 흩어지는가"입니다.

\mathbb{E}[X] = \sum_x x\,P(X = x), \qquad \mathrm{Var}[X] = \mathbb{E}\big[(X - \mathbb{E}[X])^2\big] = \mathbb{E}[X^2] - \mathbb{E}[X]^2

기호	뜻
$\mathbb{E}[X]$	$X$ 의 기댓값(평균) — $\mu$ 로도 씀
$\mathrm{Var}[X]$	분산 — $\sigma^2$ 로도 씀
$\sigma$	표준편차, 분산의 제곱근(원래 단위로 흩어짐을 표시)

숫자로 해 보기(해설용): 공정한 주사위 $X$ 는 1~6이 각각 $1/6$ 입니다.

$\mathbb{E}[X] = (1+2+3+4+5+6)/6 = 3.5$
$\mathbb{E}[X^2] = (1+4+9+16+25+36)/6 = 91/6 \approx 15.17$
$\mathrm{Var}[X] = 15.17 - 3.5^2 \approx 2.92$ , 표준편차 $\approx 1.71$

3.5는 실제로 나올 수 없는 값이지만 "평균적으로" 기대하는 값입니다.

기댓값의 선형성: 상수 $a, b$ 와 확률변수 $X, Y$ 에 대해 항상 다음이 성립합니다. $X, Y$ 가 독립이 아니어도 됩니다.

\mathbb{E}[aX + b] = a\,\mathbb{E}[X] + b, \qquad \mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[Y]

주사위 두 개 눈의 합의 기댓값은 $3.5 + 3.5 = 7$ 입니다. 분산은 다릅니다. $\mathrm{Var}[aX + b] = a^2\,\mathrm{Var}[X]$ 이고, 더하기는 독립일 때만 $\mathrm{Var}[X+Y] = \mathrm{Var}[X] + \mathrm{Var}[Y]$ 입니다.

왜 중요한가: 미니배치 기울기는 "전체 데이터 기울기의 기댓값"을 표본으로 추정한 것입니다. 강화학습의 목표는 "누적 보상의 기댓값" 최대화입니다. 논문 수식의 $\mathbb{E}_{x \sim p}[\cdot]$ 는 " $p$ 에서 뽑은 $x$ 에 대해 평균 낸다"로 읽으면 됩니다.

3. 결합 · 주변 · 조건부 확률

직관: 두 사건을 함께 볼 때, "둘 다 일어날 확률"(결합), "한쪽만 볼 때의 확률"(주변), "한쪽이 일어났다는 걸 알 때 다른 쪽의 확률"(조건부)을 구별합니다.

P(A \mid B) = \frac{P(A, B)}{P(B)}, \qquad P(B) = \sum_a P(a, B)

기호	뜻
$P(A, B)$	$A$ 와 $B$ 가 함께 일어날 확률(결합 확률)
$P(A \mid B)$	$B$ 가 일어났을 때 $A$ 의 확률(조건부 확률), "B가 주어졌을 때 A"
$P(B)$	다른 변수를 모두 더해 없앤 확률(주변 확률)

숫자로 해 보기(해설용): 어느 도시에서 비 올 확률이 $0.3$ , 비 오는 날 우산을 들 확률이 $0.9$ , 비 안 오는 날 우산을 들 확률이 $0.2$ 라고 합시다.

	우산 듦	안 듦	합(주변)
비	$0.3 \times 0.9 = 0.27$	$0.03$	$0.30$
맑음	$0.7 \times 0.2 = 0.14$	$0.56$	$0.70$
합(주변)	$0.41$	$0.59$	$1$

우산 든 사람을 볼 확률(주변): $0.27 + 0.14 = 0.41$
우산 든 사람을 봤을 때 비가 올 확률(조건부): $0.27 / 0.41 \approx 0.659$

독립(independence): $P(A, B) = P(A)P(B)$ , 즉 $P(A \mid B) = P(A)$ 이면 두 사건은 독립입니다. 동전 두 개는 독립이라 앞-앞 확률이 $0.5 \times 0.5 = 0.25$ 입니다. 위 표에서 $P(\text{비} \mid \text{우산}) = 0.659 \ne P(\text{비}) = 0.3$ 이므로 비와 우산은 독립이 아닙니다.

머신러닝과의 연결: 분류 모델은 조건부 확률 $P(y \mid \mathbf{x})$ 를, 언어 모델은 $P(\text{다음 토큰} \mid \text{앞 토큰들})$ 을 배웁니다. 학습 데이터 예제들이 서로 독립이라고 가정하면(i.i.d.) 전체 데이터의 확률이 예제별 확률의 곱이 되고, 로그를 씌우면 합이 됩니다. 손실이 "예제별 손실의 평균"인 이유입니다.

4. 베이즈 정리

직관: 결과를 보고 원인을 거꾸로 추정하는 공식입니다. "원래 얼마나 흔한가(사전 확률)"를 "증거가 얼마나 그 원인을 가리키는가(가능도)"로 고쳐 씁니다.

P(H \mid D) = \frac{P(D \mid H)\,P(H)}{P(D)}, \qquad P(D) = \sum_{h} P(D \mid h)\,P(h)

기호	뜻
$H$	가설(원인) — 예: 병이 있다
$D$	관측(데이터 · 증거) — 예: 검사 양성
$P(H)$	사전 확률(prior) — 증거를 보기 전 믿음
$P(D \mid H)$	가능도(likelihood) — 가설이 참일 때 이 증거가 나올 확률
$P(H \mid D)$	사후 확률(posterior) — 증거를 본 뒤의 믿음

숫자로 해 보기(해설용): 어떤 병의 유병률이 1%, 검사는 환자의 90%를 양성으로 잡고(민감도), 건강한 사람의 5%도 양성으로 잘못 냅니다(위양성).

양성이 나올 전체 확률: $P(+) = 0.01 \times 0.9 + 0.99 \times 0.05 = 0.009 + 0.0495 = 0.0585$
양성일 때 실제 환자일 확률: $P(\text{병} \mid +) = 0.009 / 0.0585 \approx 0.154$

검사가 "90% 정확"해 보여도 양성 판정자 중 실제 환자는 약 15%뿐입니다. 병이 드물어서(사전 확률 1%) 건강한 사람의 위양성이 숫자로 훨씬 많기 때문입니다. 1만 명으로 바꿔 보면 환자 100명 중 90명이 양성, 건강한 9,900명 중 495명이 양성이라 양성 585명 중 90명만 환자입니다.

왜 중요한가: 모델 평가에서 정밀도(precision)가 낮게 나오는 이유, 드문 사기 거래 탐지가 어려운 이유가 바로 이 계산입니다(모델 평가와 과적합). 또 매개변수에 사전 분포를 두고 데이터로 사후 분포를 구하는 베이즈 머신러닝의 출발점입니다(확률적 머신러닝 입문).

mermaid

123456flowchart LR
  A["사전 확률 P(H)"] --> C["곱하기"]
  B["가능도 P(D|H)"] --> C
  C --> D["정규화 ÷ P(D)"]
  D --> E["사후 확률 P(H|D)"]
  E -. "새 증거가 오면 다음 사전 확률로" .-> A

5. 정규분포

직관: 키 · 측정 오차처럼 "작은 우연이 많이 더해진 값"은 평균 근처에 많이 몰리고 멀어질수록 드문 종 모양 분포를 따릅니다.

\mathcal{N}(x \mid \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left( -\frac{(x - \mu)^2}{2\sigma^2} \right)

기호	뜻
$\mu$	평균 — 종의 가운데
$\sigma^2$	분산 — 종의 폭
$\exp$	$e$ 의 거듭제곱

평균에서 $\pm1\sigma$ 안에 약 68%, $\pm2\sigma$ 안에 약 95%, $\pm3\sigma$ 안에 약 99.7%가 들어갑니다.

머신러닝과의 연결: 가중치 초기화(평균 0, 작은 분산의 정규분포에서 뽑기), 확산 모델의 잡음, VAE의 잠재 변수가 모두 정규분포입니다. 또 오차가 정규분포를 따른다고 가정하면 음의 로그 가능도가 $(x - \mu)^2/(2\sigma^2) + \text{상수}$ 가 되어, 평균 제곱 오차(MSE) 손실이 자연스럽게 나옵니다. 이 연결은 확률적 머신러닝 입문에서 자세히 봅니다.

6. 표본평균과 표준오차

직관: 진짜 평균 $\mu$ 는 모르니 몇 개를 뽑아 평균을 냅니다. 많이 뽑을수록 표본평균은 진짜 평균에 가까워지고, 그 흔들림은 $1/\sqrt{n}$ 으로 줄어듭니다.

\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i, \qquad s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2, \qquad \mathrm{SE} = \frac{s}{\sqrt{n}}

기호	뜻
$\bar{x}$	표본평균
$s^2$	표본분산 — $n-1$ 로 나눠 진짜 분산을 치우침 없이 추정
$\mathrm{SE}$	표준오차 — 표본평균이 얼마나 흔들리는지

숫자로 해 보기(해설용): 키 5개 $170, 174, 168, 176, 172$ (cm)의 평균은 $172$ 입니다. 편차 $-2, 2, -4, 4, 0$ , 제곱합 $40$ , 표본분산 $40/4 = 10$ , 표준편차 $\approx 3.16$ , 표준오차 $3.16/\sqrt{5} \approx 1.41$ 입니다.

왜 중요한가: 논문 결과표의 "평균 ± 표준편차(시드 5개)"를 읽을 때, 두 모델 차이가 이 흔들림보다 작으면 우연일 수 있다고 판단합니다. 미니배치를 키우면 기울기 추정의 흔들림이 줄어드는 것도 같은 원리입니다.

연습 문제

1. 동전을 두 번 던져 앞면 수를 $X$ 라 하면 $\mathbb{E}[X]$ 와 $\mathrm{Var}[X]$ 는?

풀이: $P(X{=}0) = 0.25,\ P(X{=}1) = 0.5,\ P(X{=}2) = 0.25$ . $\mathbb{E}[X] = 0.5 + 0.5 = 1$ , $\mathbb{E}[X^2] = 0.5 + 1 = 1.5$ , $\mathrm{Var}[X] = 1.5 - 1 = 0.5$ 입니다.

2. $\mathbb{E}[X] = 3.5$ 일 때 $\mathbb{E}[2X + 1]$ 은? $\mathrm{Var}[X] \approx 2.92$ 일 때 $\mathrm{Var}[2X + 1]$ 은?

풀이: $2 \times 3.5 + 1 = 8$ , 분산은 $2^2 \times 2.92 \approx 11.67$ 입니다(더한 상수 1은 분산에 영향 없음).

3. 스팸이 전체 메일의 20%이고, '무료'라는 단어가 스팸의 50%, 정상 메일의 5%에 나옵니다. '무료'가 든 메일이 스팸일 확률은?

풀이: $P(\text{무료}) = 0.2 \times 0.5 + 0.8 \times 0.05 = 0.1 + 0.04 = 0.14$ . $P(\text{스팸} \mid \text{무료}) = 0.1/0.14 \approx 0.714$ 입니다.

4. 표준편차가 $\sigma$ 인 값의 표본 100개 평균은 표본 25개 평균보다 표준오차가 몇 배인가요?

풀이: $\sigma/\sqrt{100} \div \sigma/\sqrt{25} = 5/10 = 0.5$ 배, 즉 절반입니다. 데이터를 4배 모아야 흔들림이 절반이 됩니다.

스스로 점검

기댓값의 선형성은 두 변수가 독립일 때만 성립하나요?
- 답: 아닙니다. $\mathbb{E}[X+Y] = \mathbb{E}[X] + \mathbb{E}[Y]$ 는 항상 성립합니다. 독립이 필요한 것은 분산의 덧셈과 $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ 입니다.
베이즈 정리에서 사전 확률이 아주 작으면 사후 확률은 어떻게 되나요?
- 답: 가능도가 높아도 사후 확률이 낮게 나올 수 있습니다. 유병률 1% 예에서 양성의 사후 확률이 약 15%였습니다.
$P(A \mid B)$ 와 $P(B \mid A)$ 는 같은가요?
- 답: 일반적으로 다릅니다. 우산 예에서 $P(\text{우산} \mid \text{비}) = 0.9$ 이지만 $P(\text{비} \mid \text{우산}) \approx 0.66$ 입니다. 둘을 잇는 것이 베이즈 정리입니다.

용어 정리

용어	쉬운 뜻
확률변수(random variable)	우연에 따라 값이 정해지는 변수
확률분포(probability distribution)	각 값이 나올 가능성을 적은 표 또는 함수
확률밀도함수(PDF)	연속 변수의 분포, 구간 넓이가 확률
기댓값(expectation)	많이 반복했을 때의 평균
분산(variance) · 표준편차(standard deviation)	평균에서 흩어진 정도
결합 확률(joint probability)	두 사건이 함께 일어날 확률
주변 확률(marginal probability)	다른 변수를 더해 없앤 한 변수의 확률
조건부 확률(conditional probability)	어떤 사실을 알 때의 확률
독립(independence)	한쪽을 알아도 다른 쪽 확률이 안 바뀜
베이즈 정리(Bayes' theorem)	사전 확률과 가능도로 사후 확률을 구하는 공식
사전 · 사후 확률(prior · posterior)	증거를 보기 전 · 본 뒤의 믿음
가능도(likelihood)	가설이 참일 때 관측이 나올 확률
정규분포(normal distribution)	평균 중심의 종 모양 분포
표준오차(standard error)	표본평균의 흔들림 크기
i.i.d.	예제들이 서로 독립이고 같은 분포에서 나왔다는 가정

더 깊이 보려면

참고 자료인 D2L 2.6절은 동전 던지기 예로 시작해 확률의 형식적 정의, 확률변수, 여러 확률변수(결합 · 조건부 · 베이즈 정리), 예제, 기댓값 순으로 설명하고 연습 문제를 붙여 두었습니다. 코드로 직접 표본을 뽑아 보며 익히고 싶다면 이 절을 실행해 보세요. 더 체계적으로는 머신러닝을 위한 수학 책의 6장 '확률과 분포'가 있습니다.

다음에 볼 것

정보 이론 최소한 — 확률분포로 '놀라움'과 '두 분포의 차이'를 재는 엔트로피 · 교차 엔트로피 · KL 발산을 배웁니다. 분류 손실의 정체입니다.
확률적 머신러닝 입문 — 베이즈 정리와 정규분포로 최대우도 · MAP · 베이즈 추론을 배웁니다.
스탠퍼드 CS229 머신러닝 강의 노트 — 조건부 확률 $P(y \mid \mathbf{x})$ 를 모델로 삼는 로지스틱 회귀를 유도합니다.

라이선스

참고 자료 D2L은 CC BY-SA 4.0 라이선스로 공개돼 있습니다. 이 글은 D2L의 번역이나 개작이 아니라 KAITABASE가 직접 쓴 해설이며, 숫자 예는 모두 설명용으로 만든 것입니다.

출처

참고: d2l.ai/chapter_preliminaries/probability.… (Dive into Deep Learning 2.6절)
함께 보기: mml-book.github.io (Mathematics for Machine Learning 6장)

AI 원리부터 이해하기 · 수학 모듈

수학 모듈 학습

이 글은 수학 모듈의 학습 자료입니다. 전체 9개 자료 중 5번째입니다.

모듈 전체 학습하기 패키지 전체 로드맵 보기

AI 기초 과정은 현재 진도 저장을 지원하지 않습니다.

출처·원문

원문 보기

요약만

본문 자체 작성 · 참고 자료 D2L(CC BY-SA 4.0)