중간 점검: 수학 트랙 (문제 12개와 풀이)

중간 점검: 수학 트랙 (문제 12개와 풀이)

수학 트랙에서 다룬 선형대수 · 미분 · 최적화 · 확률 · 정보 이론 · 최대우도를 문제 12개로 점검합니다. 모든 문제는 종이와 펜으로 풀 수 있는 크기이고, 풀이는 단계별로 적었습니다. 계산 문제의 답은 python(numpy)으로 다시 계산해 확인했습니다. 틀린 문제는 옆에 적어 둔 수업으로 돌아가 복습하세요.

들어가기 전에

이 점검은 아래 수업을 마쳤다고 보고 냅니다.

• 선형대수 1: 벡터 · 행렬 · 내적 · 행렬 곱 · 노름
• 선형대수 2: 고유값 · 고유벡터 · 특잇값 분해(SVD)
• 미분 최소한: 도함수 · 편미분 · 기울기 · 연쇄 법칙
• 최적화 기초: 경사 하강법 · 볼록성 · 라그랑주 승수
• 확률과 통계 최소한: 기댓값 · 분산 · 조건부 확률 · 베이즈 정리
• 정보 이론 최소한: 엔트로피 · 교차 엔트로피 · KL 발산
• 최대우도 추정과 MAP: 손실 함수는 어디서 오나

푸는 법

1. 풀이를 가리고 먼저 직접 풉니다. 계산기는 써도 됩니다.
2. 답을 맞춰 보고, 틀렸다면 풀이의 어느 단계에서 갈렸는지 찾습니다.
3. 맞힌 문제 수를 세어 맨 아래 '점수별 다음 걸음'을 봅니다.

문제

문제 1. 내적과 코사인 유사도 (선형대수 1)

$a = (1, 2, 2)$, $b = (2, 0, 1)$일 때 $a \cdot b$, $\lVert a\rVert$, $\lVert b\rVert$, 코사인 유사도를 구하세요.

풀이

1. 내적: $1 \cdot 2 + 2 \cdot 0 + 2 \cdot 1 = 4$
2. 노름: $\lVert a\rVert = \sqrt{1 + 4 + 4} = 3$, $\lVert b\rVert = \sqrt{4 + 0 + 1} = \sqrt5 \approx 2.236$
3. 코사인 유사도: $4/(3\sqrt5) \approx 0.596$

코사인 유사도는 방향이 얼마나 비슷한지만 봅니다. 임베딩 검색에서 이 값을 씁니다. → 선형대수 1

문제 2. 행렬 곱의 모양과 값 (선형대수 1)

$A = \begin{pmatrix}1 & 2\\ 0 & 1\\ 3 & -1\end{pmatrix}$ ($3\times2$), $B = \begin{pmatrix}2 & 1 & 0\\ 1 & 3 & 1\end{pmatrix}$ ($2\times3$)일 때, $AB$와 $BA$의 모양과 $AB$의 첫 행을 구하세요.

풀이

1. 모양: $(3\times2)(2\times3) = 3\times3$, $(2\times3)(3\times2) = 2\times2$. 안쪽 숫자가 같아야 곱할 수 있고 결과는 바깥 숫자입니다.
2. $AB$ 첫 행 = $A$의 첫 행 $(1, 2)$와 $B$의 각 열의 내적: $(1\cdot2 + 2\cdot1,\ 1\cdot1 + 2\cdot3,\ 1\cdot0 + 2\cdot1) = (4, 7, 2)$
3. $BA = \begin{pmatrix}2 & 5\\ 4 & 4\end{pmatrix}$로 $AB$와 모양부터 다릅니다 — 행렬 곱은 순서를 바꾸면 안 됩니다.

→ 선형대수 1

문제 3. 고유값 (선형대수 2)

$M = \begin{pmatrix}2 & 1\\ 1 & 2\end{pmatrix}$의 고유값과 고유벡터를 구하세요.

풀이

1. 특성 방정식: $\det(M - \lambda I) = (2 - \lambda)^2 - 1 = 0$ → $2 - \lambda = \pm 1$ → $\lambda = 3, 1$
2. $\lambda = 3$: $(M - 3I)v = 0$ → $-v_1 + v_2 = 0$ → $v \propto (1, 1)$
3. $\lambda = 1$: $v_1 + v_2 = 0$ → $v \propto (1, -1)$
4. 확인: $M(1,1)^\top = (3, 3)^\top = 3(1,1)^\top$

대칭 행렬이라 두 고유벡터가 서로 수직입니다. PCA는 공분산 행렬(대칭)의 고유벡터를 씁니다. → 선형대수 2

문제 4. 특잇값과 순위 (선형대수 2)

$A = \begin{pmatrix}1 & 1\\ 1 & 1\end{pmatrix}$의 특잇값은 무엇이고, 행렬의 계수(rank)는 얼마인가요?

풀이

1. 특잇값은 $A^\top A$ 고유값의 제곱근입니다. $A^\top A = \begin{pmatrix}2 & 2\\ 2 & 2\end{pmatrix}$의 고유값은 4와 0입니다.
2. 특잇값 $= \sqrt4, \sqrt0 = 2, 0$
3. 0이 아닌 특잇값이 하나이므로 계수는 1입니다. 두 행이 같아 정보가 한 방향뿐입니다.

0에 가까운 특잇값을 버리는 것이 저차원 근사(LoRA · PCA의 아이디어)입니다. → 선형대수 2

문제 5. 연쇄 법칙 (미분)

(가) $f(x) = (3x + 1)^2$의 $x = 2$에서 도함수, (나) $p = \sigma(wx)$에서 $w = 0.5$, $x = 2$일 때 $\partial p/\partial w$를 구하세요. ($\sigma' = \sigma(1-\sigma)$)

풀이

1. (가) 바깥 $u^2$의 미분 $2u$, 안쪽 $3x + 1$의 미분 3. $f'(x) = 2(3x + 1)\cdot 3$, $x = 2$면 $2 \cdot 7 \cdot 3 = 42$
2. (나) $z = wx = 1$, $\sigma(1) \approx 0.731$. $\partial p/\partial w = \sigma(z)(1 - \sigma(z)) \cdot x \approx 0.731 \times 0.269 \times 2 \approx 0.393$

역전파는 이 연쇄 법칙을 층마다 반복하는 것입니다. → 미분 최소한

문제 6. 편미분과 기울기 (미분)

$f(x, y) = x^2 + 3xy$의 기울기 $\nabla f$를 구하고 점 $(1, 2)$에서 값을 계산하세요. 이 점에서 $f$가 가장 빨리 줄어드는 방향은?

풀이

1. $\partial f/\partial x = 2x + 3y$, $\partial f/\partial y = 3x$
2. $(1, 2)$에서 $\nabla f = (2 + 6, 3) = (8, 3)$
3. 가장 빨리 줄어드는 방향은 기울기의 반대 $-(8, 3)$입니다. 경사 하강법이 이 방향으로 걷습니다.

→ 미분 최소한

문제 7. 경사 하강법 세 걸음 (최적화)

$f(x) = (x - 3)^2$을 $x_0 = 0$, 학습률 $\eta = 0.1$로 세 걸음 내려가세요. 매 걸음 $f$ 값은?

풀이

1. $f'(x) = 2(x - 3)$, 갱신 $x \leftarrow x - 0.1 \cdot 2(x - 3) = x + 0.2(3 - x)$
2. 1걸음: $x = 0 + 0.6 = 0.6$, $f = 5.76$
3. 2걸음: $x = 0.6 + 0.48 = 1.08$, $f = 3.6864$
4. 3걸음: $x = 1.08 + 0.384 = 1.464$, $f \approx 2.359$

매 걸음 남은 거리 $3 - x$가 0.8배씩 줄어듭니다. $\eta$가 1보다 크면($|1 - 2\eta| > 1$) 발산합니다. → 최적화 기초

문제 8. 라그랑주 승수 (최적화)

$x + y = 10$이라는 조건에서 $xy$를 최대화하세요.

풀이

1. 라그랑주 함수 $\mathcal{L} = xy - \lambda(x + y - 10)$
2. $\partial\mathcal{L}/\partial x = y - \lambda = 0$, $\partial\mathcal{L}/\partial y = x - \lambda = 0$ → $x = y = \lambda$
3. 조건에 넣으면 $2x = 10$ → $x = y = 5$, 최댓값 $xy = 25$
4. 확인: $x = 4, y = 6$이면 24로 더 작습니다.

"조건이 있는 최적화"는 SVM의 쌍대 문제, 최대 엔트로피 문제에서 다시 나옵니다. → 최적화 기초

문제 9. 기댓값과 분산 (확률)

공정한 주사위 눈 $X$의 기댓값과 분산을 구하고, $Y = 2X + 3$의 기댓값과 분산을 구하세요.

풀이

1. $E[X] = (1 + 2 + \dots + 6)/6 = 3.5$
2. $E[X^2] = (1 + 4 + 9 + 16 + 25 + 36)/6 = 91/6$, $\mathrm{Var}(X) = 91/6 - 3.5^2 = 35/12 \approx 2.917$
3. 선형성: $E[Y] = 2 \cdot 3.5 + 3 = 10$
4. $\mathrm{Var}(Y) = 2^2 \cdot \mathrm{Var}(X) = 35/3 \approx 11.67$ — 더한 상수 3은 분산에 영향이 없습니다.

→ 확률과 통계 최소한

문제 10. 베이즈 정리 (확률)

유병률 1%인 병의 검사가 있습니다. 병이 있으면 90% 양성, 병이 없어도 5% 양성이 나옵니다. 양성이 나온 사람이 실제로 병이 있을 확률은?

풀이

1. $P(\text{양성}) = 0.9 \times 0.01 + 0.05 \times 0.99 = 0.009 + 0.0495 = 0.0585$
2. $P(\text{병} \mid \text{양성}) = 0.009/0.0585 \approx 0.154$

양성이어도 약 15%뿐입니다. 드문 사건에서는 거짓 양성이 진짜 양성보다 많기 때문이며, 불균형 데이터에서 정확도만 보면 안 되는 이유와 같습니다. → 확률과 통계 최소한

문제 11. 엔트로피 · 교차 엔트로피 · KL (정보 이론)

실제 분포 $p = (0.5, 0.25, 0.25)$, 모델 분포 $q = (0.25, 0.5, 0.25)$일 때(로그 밑 2) $H(p)$, $H(p, q)$, $D_{KL}(p\,\Vert\,q)$를 구하세요.

풀이

1. $H(p) = -(0.5\log_2 0.5 + 2 \times 0.25\log_2 0.25) = 0.5 + 1 = 1.5$비트
2. $H(p, q) = -(0.5\log_2 0.25 + 0.25\log_2 0.5 + 0.25\log_2 0.25) = 1 + 0.25 + 0.5 = 1.75$비트
3. $D_{KL} = H(p, q) - H(p) = 0.25$비트

교차 엔트로피를 최소화하는 것은 $H(p)$가 고정이므로 KL을 최소화하는 것과 같습니다. → 정보 이론 최소한

문제 12. 최대우도와 MAP (최대우도 추정)

동전을 10번 던져 앞면이 7번 나왔습니다. (가) 앞면 확률 $\theta$의 최대우도 추정값, (나) 사전분포 Beta(2, 2)를 둔 MAP 추정값을 구하세요.

풀이

1. (가) 로그 우도 $7\log\theta + 3\log(1 - \theta)$를 미분해 0: $7/\theta = 3/(1 - \theta)$ → $\theta = 0.7$
2. (나) Beta(2, 2) 사전분포는 "앞 1번, 뒤 1번을 미리 본 것"과 같은 효과입니다. 사후분포 Beta(9, 5)의 최빈값 $= (9 - 1)/(9 + 5 - 2) = 8/12 \approx 0.667$
3. MAP가 0.5 쪽으로 조금 당겨졌습니다. 이 "당김"이 정규화의 확률적 해석입니다.

→ 최대우도 추정과 MAP

개념 확인 (짧은 답)

• 왜 머신러닝에서 행렬 곱이 중요한가요? 데이터 여러 개와 가중치를 한 번에 곱해 예측을 계산하기 때문입니다($\hat y = Xw$). GPU가 빠른 이유도 행렬 곱 덕분입니다.
• 볼록 함수가 좋은 이유는? 지역 최솟값이 곧 전역 최솟값이라 경사 하강법이 엉뚱한 곳에 멈추지 않습니다. 선형 · 로지스틱 회귀의 손실이 볼록합니다.
• MSE와 교차 엔트로피는 각각 어떤 확률 가정에서 나오나요? MSE는 잡음이 정규분포일 때의 음의 로그 우도, 교차 엔트로피는 라벨이 베르누이(범주) 분포일 때의 음의 로그 우도입니다.

점수별 다음 걸음

다음에 볼 것

• 선형 회귀: 최소제곱 · 정규방정식 · 릿지 · 라쏘 — 여기서 점검한 행렬 곱 · 기울기 · 경사 하강법 · 최대우도가 모두 한 모델에 모입니다.

라이선스

이 글은 KAITABASE가 직접 만든 문제와 풀이이며, 숫자는 모두 설명용입니다(python · numpy로 다시 계산해 확인). 참고 자료 D2L은 CC BY-SA 4.0 라이선스입니다.

출처

• 참고: d2l.ai/chapter_preliminaries/index.html (D2L 2장 '준비 지식' — 선형대수 · 미적분 · 확률)