종합 점검: AI 기초 전 과정 40문제

종합 점검: AI 기초 전 과정 40문제

입문부터 피지컬 AI까지 19개 트랙을 문제 40개로 한 번에 되짚는 마지막 시험입니다. 트랙마다 꼭 알아야 할 개념과 손계산을 골랐고, 계산 답은 모두 python으로 다시 계산해 확인했습니다. 풀이마다 다시 볼 수업을 링크해 두었으니, 틀린 문제는 그 수업으로 돌아가면 됩니다.

들어가기 전에

• 이 시험은 과정 안내: 이 섹션만으로 AI 공부 끝내기에 나온 트랙을 차례로 마쳤다고 보고 냅니다.
• 트랙별 중간 점검을 먼저 풀어 보세요: 수학 · 머신러닝 · 딥러닝 기초 · NLP · 트랜스포머 · LLM 활용 · 에이전트 · RAG · 검색 · 정렬 · 스케일링 · 효율 · 강화학습 · 응용 트랙 · AX
• 낯선 용어는 용어 사전에서 찾습니다.

한눈에 보기

• 19개 트랙의 핵심 개념을 한 시험으로 점검합니다.
• 계산 문제는 계산기 하나로 풀 수 있게 숫자를 작게 만들었습니다(숫자는 모두 해설용).
• 문제마다 1점, 40점 만점입니다. 점수별 다음 걸음은 맨 아래에 있습니다.
• 직장인 경로로 공부했다면 1~4번, 15~25번, 38~39번부터 풀어도 됩니다.

푸는 법

1. 풀이를 가리고 먼저 직접 풉니다. 소수 셋째 자리까지면 충분합니다.
2. 채점한 뒤 틀린 문제는 풀이 끝의 링크로 돌아가 해당 절을 다시 읽습니다.
3. 트랙별로 2문제 이상 틀렸다면 그 트랙의 중간 점검을 다시 풉니다.

1234567flowchart LR
  A[40문제 풀기] --> B[풀이로 채점]
  B --> C{틀린 문제?}
  C -- 있음 --> D[링크된 수업 다시 읽기]
  D --> E[트랙 중간 점검 다시 풀기]
  E --> A
  C -- 없음 --> F[과정 마침: 논문 해설로 넓히기]

1부. 입문 · AX(AI 전환)

1. 학습 방식 구분 (개념 · 입문)

다음 세 가지는 각각 지도 · 비지도 · 자기지도 · 강화 학습 중 무엇인가요? (가) 사람이 '스팸/정상' 라벨을 붙인 메일로 분류기 학습 (나) 인터넷 글에서 다음 토큰을 맞히며 LLM 사전학습 (다) 라벨 없는 고객 데이터를 비슷한 무리로 묶기

풀이

(가) 지도 학습 — 사람이 붙인 정답(라벨)이 있습니다. (나) 자기지도 학습 — 정답(다음 토큰)을 데이터 자체에서 만듭니다. (다) 비지도 학습(군집화) — 정답이 없습니다. → AI란 무엇인가, 군집화

2. 기대 순가치로 사용 사례 고르기 (계산 · AX)

사용 사례 A는 성공하면 연 1,200만 원 가치, 성공 확률 0.5, 비용 300만 원입니다. B는 가치 800만 원, 성공 확률 0.9, 비용 200만 원입니다. 기대 순가치(가치 × 성공 확률 − 비용)로 보면 어느 쪽을 먼저 하나요?

풀이

A: $1200 \times 0.5 - 300 = 300$만 원, B: $800 \times 0.9 - 200 = 520$만 원. B 를 먼저 합니다. 가치가 큰 A도 성공 확률이 낮으면 뒤로 밀립니다. → 사용 사례 고르기와 우선순위

3. ROI 계산 (계산 · AX)

20명 팀이 AI로 1인당 주 2시간을 줄였지만 결과 검토에 주 0.5시간이 더 듭니다. 시급 4만 원, 한 달 4주로 봅니다. 월 비용은 라이선스 1인 3만 원과 토큰 비용 월 20만 원입니다. 월 ROI는? (ROI = (가치 − 비용) ÷ 비용)

풀이

순 절감 1.5시간 × 20명 × 4주 × 4만 원 = 480만 원. 비용 = 20 × 3 + 20 = 80만 원. ROI = (480 − 80) ÷ 80 = 5.0(500%). 검토 시간을 빼지 않으면(2시간) 가치가 640만 원으로 부풀려집니다. → ROI · 효과 측정

4. 사람 검토 루프 (계산 · AX)

AI 초안의 오류율이 8%이고, 검토자가 오류의 90%를 잡아냅니다. 검토 뒤 고객에게 나가는 오류 비율은?

풀이

$0.08 \times (1 - 0.9) = 0.008$, 즉 0.8% 입니다. 검토가 있어도 0이 되지는 않으므로 위험이 큰 작업은 검토 범위를 넓히거나 자동화 대상에서 뺍니다. → 프로세스 재설계와 사람 검토 루프

2부. 수학

5. 코사인 유사도 (계산)

$a = (1, 2, 2)$, $b = (2, 0, 1)$ 의 코사인 유사도는?

풀이

$a \cdot b = 2 + 0 + 2 = 4$, $\|a\| = 3$, $\|b\| = \sqrt5 \approx 2.236$. $4 / (3 \times 2.236) \approx$ 0.596. → 선형대수 1

6. 베이즈 정리 (계산)

유병률 1%인 병의 검사가 환자를 99% 양성으로, 건강한 사람을 5% 양성으로 판정합니다. 양성일 때 실제 환자일 확률은?

풀이

$\dfrac{0.01 \times 0.99}{0.01 \times 0.99 + 0.99 \times 0.05} = \dfrac{0.0099}{0.0594} \approx$ 0.167. 기저율이 낮으면 양성이어도 환자일 확률은 낮습니다. → 확률과 통계 최소한

7. 엔트로피 · 교차 엔트로피 · KL (계산)

정답 분포 $p = (0.5, 0.5)$, 모델 분포 $q = (0.9, 0.1)$ 일 때 밑이 2인 로그로 $H(p)$, $H(p, q)$, $D_{\mathrm{KL}}(p\|q)$ 는?

풀이

$H(p) = 1$ 비트. $H(p,q) = -0.5\log_2 0.9 - 0.5\log_2 0.1 \approx 0.076 + 1.661 = 1.737$ 비트. $D_{\mathrm{KL}} = H(p,q) - H(p) \approx$ 0.737 비트. → 정보 이론 최소한

3부. 머신러닝

8. 정밀도 · 재현율 · F1 (계산)

TP 40, FP 10, FN 20입니다. 정밀도 · 재현율 · F1은?

풀이

정밀도 $40/50 = 0.8$, 재현율 $40/60 \approx 0.667$, F1 $= 2 \times 0.8 \times 0.667 / (0.8 + 0.667) \approx$ 0.727. → 모델 평가와 과적합

9. 지니 불순도와 분할 (계산)

양성 6 · 음성 4인 노드를 왼쪽(양성 5, 음성 0)과 오른쪽(양성 1, 음성 4)으로 나눴습니다. 부모 지니, 가중 평균 자식 지니, 불순도 감소량은?

풀이

부모 $1 - (0.6^2 + 0.4^2) = 0.48$. 왼쪽 0, 오른쪽 $1 - (0.2^2 + 0.8^2) = 0.32$, 가중 평균 $0.5 \times 0 + 0.5 \times 0.32 = 0.16$. 감소량 0.32. → 결정 트리

10. k-평균 (계산)

1차원 점 1, 2, 9, 10을 $k = 2$ 로 묶습니다. 초기 중심이 1과 2일 때, 중심은 어떻게 바뀌고 어디서 멈추나요?

풀이

1회: 1 → 중심1, 2 · 9 · 10 → 중심2. 새 중심 (1, 7). 2회: 1 · 2 → 중심1(2는 1과 거리 1, 7과 거리 5), 9 · 10 → 중심2. 새 중심 (1.5, 9.5). 3회에도 배정이 같아 멈춥니다. 초기 중심이 나쁘면 첫 걸음이 치우칠 수 있어 k-means++ 같은 초기화를 씁니다. → 군집화

4부. 딥러닝 기초

11. MLP 파라미터 수 (계산)

입력 100 → 은닉 50 → 출력 3인 완전 연결 신경망의 파라미터(가중치 + 편향) 수는?

풀이

$100 \times 50 + 50 = 5{,}050$, $50 \times 3 + 3 = 153$, 합계 5,203개. → 다층 퍼셉트론

12. 합성곱 출력 크기와 파라미터 (계산)

32×32×3 입력에 5×5 커널 16개, 패딩 2를 씁니다. 스트라이드 1과 2일 때 출력의 가로 크기, 그리고 이 층의 파라미터 수는?

풀이

출력 $= \lfloor (32 + 2\times2 - 5)/s \rfloor + 1$ → $s=1$: 32, $s=2$: 16. 파라미터 $= 5 \times 5 \times 3 \times 16 + 16 =$ 1,216개(스트라이드와 무관). → 합성곱 신경망 기초

13. 기울기 소실 (계산 · 개념)

시그모이드 도함수의 최댓값은 0.25입니다. 시그모이드 10층을 지나면 기울기는 최대 몇 배까지 줄어드나요? 흔한 처방 두 가지는?

풀이

$0.25^{10} \approx 9.5 \times 10^{-7}$ 배, 약 백만분의 1입니다. 처방: ReLU 계열 활성화, 알맞은 초기화(He), 정규화 층, 잔차 연결 등. → 다층 퍼셉트론, 초기화 · 정규화 · 규제

14. IoU (계산)

상자 A는 (0,0)~(4,4), 상자 B는 (2,2)~(6,6)입니다. IoU는? IoU 0.5 기준이면 정답으로 치나요?

풀이

교집합 2×2 = 4, 합집합 16 + 16 − 4 = 28, IoU $= 4/28 \approx$ 0.143. 0.5보다 작아 정답이 아닙니다. → 객체 검출

5부. NLP · 트랜스포머

15. 어텐션 손계산 (계산)

$d_k = 2$, 쿼리 $q = (1, 0)$, 키 $k_1 = (1, 0)$, $k_2 = (0, 1)$, 값 $v_1 = (1, 2)$, $v_2 = (3, 0)$ 입니다. 스케일드 점곱 어텐션의 가중치와 출력은?

풀이

점수 $q\cdot k/\sqrt2$ = (0.707, 0). 소프트맥스 → (0.670, 0.330). 출력 $= 0.670 \times (1,2) + 0.330 \times (3,0) \approx$ (1.660, 1.340). → 어텐션 직관

16. 퍼플렉서티 (계산)

모델이 세 토큰에 준 확률이 0.5, 0.25, 0.125입니다. 퍼플렉서티는?

풀이

$\mathrm{PPL} = (0.5 \times 0.25 \times 0.125)^{-1/3} = 64^{1/3} =$ 4. 평균적으로 4개 후보 중 고르는 만큼 헷갈린다는 뜻입니다. → 언어 모델의 기본

17. top-p 샘플링 (계산)

로짓이 (2, 1, 0), 온도 1입니다. 소프트맥스 확률과, top-p = 0.9일 때 남는 후보 · 다시 정규화한 확률은?

풀이

확률 ≈ (0.665, 0.245, 0.090). 큰 것부터 더하면 0.665 + 0.245 = 0.910 ≥ 0.9이므로 앞의 두 개만 남습니다. 다시 정규화 → (0.731, 0.269). → 디코딩 전략

6부. LLM 활용 · 에이전트

18. 자기 일관성 (계산)

한 번 풀 때 정답 확률이 0.6인 문제를 독립적으로 3번 풀어 다수결합니다. 다수결이 정답일 확률은?

풀이

2번 이상 맞힐 확률 $= 3 \times 0.6^2 \times 0.4 + 0.6^3 = 0.432 + 0.216 =$ 0.648. 한 번(0.6)보다 높아집니다. → 프롬프트 설계와 인컨텍스트 학습, 자기 일관성

19. pass@k (계산)

코드를 8번 생성해 2번 통과했습니다. pass@1과 pass@3의 불편 추정값은?

풀이

pass@1 $= 1 - \binom61/\binom81 = 1 - 6/8 =$ 0.25. pass@3 $= 1 - \binom63/\binom83 = 1 - 20/56 \approx$ 0.643. → LLM 평가

20. LoRA 파라미터 (계산)

4096×4096 가중치 행렬에 랭크 8 LoRA를 붙입니다. 학습하는 파라미터 수와 원래 행렬 대비 비율은?

풀이

$r(d + k) = 8 \times (4096 + 4096) =$ 65,536개. 원래 $4096^2 = 16{,}777{,}216$ 개의 약 0.39% 입니다. → 미세조정, LoRA

7부. RAG · 검색

21. RRF (계산)

RRF($k = 60$)로 두 검색 결과를 합칩니다. 문서 A는 BM25 1위 · 벡터 3위, 문서 B는 BM25 2위 · 벡터 1위입니다. 어느 문서가 위에 오나요?

풀이

A: $1/61 + 1/63 \approx 0.03227$, B: $1/62 + 1/61 \approx 0.03252$. B 가 조금 앞섭니다. 점수 크기가 아니라 순위만 쓰므로 척도가 다른 두 검색기를 바로 합칠 수 있습니다. → 작은 RAG 만들기

22. MRR · recall@3 (계산)

질문 3개에서 첫 정답 문서의 순위가 1위, 3위, 그리고 상위 5개 안에 없음입니다. MRR(상위 5개 기준)과 recall@3(정답이 상위 3개에 든 질문 비율)은?

풀이

MRR $= (1 + 1/3 + 0)/3 \approx$ 0.444. recall@3 $= 2/3 \approx$ 0.667. → 검색의 기초

23. BM25가 TF-IDF보다 나은 점 (개념)

BM25의 두 손잡이 $k_1$ 과 $b$ 는 각각 무엇을 고치나요?

풀이

$k_1$ 은 단어 빈도의 포화 — 같은 단어가 10번 나와도 점수가 10배가 되지 않게 합니다. $b$ 는 문서 길이 정규화 — 긴 문서가 단어를 많이 담아 유리해지는 것을 막습니다. → 검색의 기초

8부. 정렬

24. 브래들리-테리 선호 확률 (계산)

보상 모델이 답 A에 2.0, 답 B에 0.5를 줬습니다. 사람이 A를 고를 확률은?

풀이

$\sigma(2.0 - 0.5) = \sigma(1.5) \approx$ 0.818. 점수의 차이만 중요합니다. → 정렬 개요와 RLHF 파이프라인

25. DPO 손실 (계산)

$\beta = 0.1$, 선택한 답의 $\log\pi_\theta - \log\pi_{\text{ref}} = +2$, 거절한 답의 같은 값 $= -1$ 입니다. DPO 손실은?

풀이

$z = \beta[(+2) - (-1)] = 0.3$, 손실 $= -\log\sigma(0.3) \approx$ 0.554. 선택한 답의 확률을 기준 모델보다 더 올리고 거절한 답을 내릴수록 손실이 줄어듭니다. → 직접 해 보기: 보상 모델과 DPO 손실, DPO

9부. 스케일링 · 효율

26. 연산 예산 (계산)

70억(7B) 파라미터 모델을 친칠라 어림(토큰 ≈ 파라미터 × 20)대로 학습하면 토큰 수와 학습 연산량($C \approx 6ND$)은?

풀이

$D = 20 \times 7\times10^9 = 1.4\times10^{11}$ 토큰(1,400억). $C = 6 \times 7\times10^9 \times 1.4\times10^{11} \approx$ $5.88 \times 10^{21}$ FLOP. → 스케일링 법칙과 연산 예산

27. 가중치 메모리 (계산)

7B 모델 가중치를 BF16과 INT4로 저장하면 각각 몇 GB인가요(1GB = $10^9$ 바이트)?

풀이

BF16: $7\times10^9 \times 2 =$ 14GB, INT4: $7\times10^9 \times 0.5 =$ 3.5GB(스케일 등 부가 정보 제외). → 수치 형식 · 혼합 정밀도 · 양자화

28. KV 캐시와 GQA (계산)

층 32개, 쿼리 헤드 32개, 헤드 차원 128, FP16(2바이트), 문맥 4,096토큰, 요청 1개입니다. 키 · 값 헤드가 32개(MHA)일 때와 8개(GQA)일 때 KV 캐시 크기는(GiB)?

풀이

$2 \times 32 \times n_{kv} \times 128 \times 4096 \times 2$ 바이트. MHA($n_{kv}=32$): 2 GiB, GQA($n_{kv}=8$): 0.5 GiB. 키 · 값 헤드 수에 비례해 줄어듭니다. → 추론 최적화

10부. 강화학습

29. 할인 수익 (계산)

보상 1, 1, 1을 받고 끝났습니다. $\gamma = 0.9$ 일 때 첫 시점의 수익 $G_0$ 은?

풀이

$1 + 0.9 + 0.81 =$ 2.71. → 강화학습 입문

30. Q-러닝 한 걸음 (계산)

$Q(s,a) = 0.5$, 보상 1, $\gamma = 0.9$, 다음 상태의 $\max_{a'} Q = 2$, 학습률 $\alpha = 0.1$ 입니다. 갱신 뒤 $Q(s,a)$ 는?

풀이

목표 $= 1 + 0.9 \times 2 = 2.8$, TD 오차 $= 2.3$, 새 값 $= 0.5 + 0.1 \times 2.3 =$ 0.73. → Hugging Face 딥 강화학습 강좌, 그리드월드 Q-러닝

31. PPO 클리핑 (계산)

$\epsilon = 0.2$ 입니다. (가) 확률비 1.3, 어드밴티지 +2 (나) 확률비 0.7, 어드밴티지 −2일 때 클리핑 목표 $\min(rA,\ \mathrm{clip}(r, 0.8, 1.2)A)$ 는?

풀이

(가) $\min(2.6,\ 1.2 \times 2 = 2.4) =$ 2.4. (나) $\min(-1.4,\ 0.8 \times -2 = -1.6) =$ −1.6. 좋은 행동은 너무 많이 키우지 않고, 나쁜 행동의 벌은 줄여 주지 않는 비관적 하한입니다. → 정책 최적화 실전

11부. 생성 모델

32. VAE의 KL 항 (계산)

1차원 인코더 출력이 $\mu = 1$, $\sigma = 1$ 입니다. 표준 정규 사전 분포와의 KL $\tfrac12(\mu^2 + \sigma^2 - 1 - \ln\sigma^2)$ 은?

풀이

$\tfrac12(1 + 1 - 1 - 0) =$ 0.5. 평균이 0에서 멀어질수록 KL 벌점이 커집니다. → 오토인코더에서 VAE까지

33. 확산의 순방향 과정 (계산)

$x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1 - \bar\alpha_t}\,\epsilon$ 에서 $\bar\alpha_t = 0.64$, $x_0 = 1$, $\epsilon = 0.5$ 이면 $x_t$ 는?

풀이

$0.8 \times 1 + 0.6 \times 0.5 =$ 1.1. 어느 시점이든 한 번에 잡음을 섞을 수 있어 학습이 빠릅니다. → DDPM, 2D 장난감 확산 모델

12부. 음성 · 그래프 · 시계열 · 해석 가능성

34. 소리를 숫자로 · WER (계산)

(가) 샘플링 레이트 16kHz의 나이퀴스트 주파수는? (나) 1초 신호를 창 25ms · 홉 10ms로 패딩 없이 자르면 프레임은 몇 개? (다) 정답 6단어, 대체 1 · 삭제 1 · 삽입 1이면 WER은?

풀이

(가) 8kHz. (나) $\lfloor(1000 - 25)/10\rfloor + 1 =$ 98개. (다) $(1 + 1 + 1)/6 =$ 0.5(50%). → 소리를 숫자로, 음성 인식

35. 메시지 전달 (계산 · 그래프 신경망)

노드 A의 특징이 3, 이웃 둘의 특징이 2와 4입니다. 셀프 루프를 넣고 '자기 자신 + 이웃' 평균으로 한 번 모으면 A의 새 값은(가중치 곱 전)?

풀이

$(3 + 2 + 4)/3 =$ 3. 셀프 루프가 없으면 자기 특징을 잃고, 층을 많이 쌓으면 값이 모두 비슷해지는 과평활화가 생깁니다. → 그래프 신경망 입문

36. 단순 지수평활 (계산 · 시계열)

$\alpha = 0.5$, 직전 수준 $\ell = 10$ 일 때 새 관측 14가 들어오면 새 수준과 다음 예측은?

풀이

$\ell = 0.5 \times 14 + 0.5 \times 10 =$ 12, 다음 예측도 12입니다. → 시계열 예측 기초

37. 섀플리 값 (계산 · 해석 가능성)

특징 두 개의 기여 함수가 $v(\varnothing) = 0$, $v(A) = 4$, $v(B) = 2$, $v(AB) = 10$ 입니다. A와 B의 섀플리 값은?

풀이

$\phi_A = \tfrac12(4 - 0) + \tfrac12(10 - 2) =$ 6, $\phi_B = \tfrac12(2 - 0) + \tfrac12(10 - 4) =$ 4. 합 10 = $v(AB) - v(\varnothing)$ 로 효율성이 맞습니다. → 모델 설명하기

13부. 안전 · MLOps · 피지컬 AI

38. 80% 규칙 (계산 · 공정성)

집단 X의 선택률 0.50, 집단 Y의 선택률 0.35입니다. 80% 규칙을 만족하나요?

풀이

$0.35 / 0.50 =$ 0.7 < 0.8이므로 만족하지 못합니다. 다만 기저율이 실제로 다르면 이 기준만으로 판단하기 어렵다는 한계가 있습니다. → AI 공정성

39. PSI로 드리프트 보기 (계산 · MLOps)

학습 때 두 구간 비율이 (0.5, 0.5), 운영 중 (0.7, 0.3)입니다. PSI $= \sum (a - e)\ln(a/e)$ 는?

풀이

$0.2\ln1.4 + (-0.2)\ln0.6 \approx 0.0673 + 0.1022 \approx$ 0.169. Lewis의 경험칙(0.1 미만 변화 없음 · 0.1~0.25 작은 변화 · 0.25 이상 상당한 변화)으로는 '작은 변화'지만, 이 문턱값은 표본 크기 · 구간 수에 따라 달라지는 근사이므로, 성능 지표와 함께 봅니다. → 배포 · 서빙 · 모니터링

40. 1차원 칼만 필터 (계산 · 피지컬 AI)

예측 위치 10, 예측 분산 4, 센서 측정 12, 측정 분산 1입니다. 칼만 이득, 보정된 위치와 분산은?

풀이

$K = 4/(4 + 1) =$ 0.8, 위치 $= 10 + 0.8 \times (12 - 10) =$ 11.6, 분산 $= (1 - 0.8) \times 4 =$ 0.8. 측정이 더 정확하니(분산 1) 측정 쪽으로 많이 옮겨 갑니다. → 센서와 상태 추정

점수별 다음 걸음

스스로 점검

1. 15번에서 $\sqrt{d_k}$ 로 나누지 않으면 가중치는 어떻게 되나요?
   • 점수가 (1, 0)이 되어 가중치가 약 (0.731, 0.269)로 더 한쪽으로 쏠립니다. 차원이 크면 이 쏠림이 심해져 기울기가 작아지므로 나눕니다.
2. 21번의 RRF에서 $k$ 를 아주 크게 하면 무슨 일이 생기나요?
   • 모든 순위의 점수가 비슷해져 순위 차이의 영향이 줄어듭니다. $k$ 가 작으면 1위의 영향이 커집니다.
3. 28번에서 문맥을 8,192토큰으로 늘리면 GQA 캐시는?
   • 길이에 비례하므로 1 GiB로 두 배가 됩니다.

용어 정리

다음에 볼 것

• 용어 사전 — 틀린 문제의 용어를 다시 확인합니다.
• 과정 안내 — 약한 트랙을 경로에서 다시 찾습니다.

라이선스

이 문제와 풀이는 KAITABASE가 직접 만들었으며, 숫자는 모두 설명용입니다(답은 python으로 재확인). 공식과 정의는 링크한 각 수업이 원 출처에서 확인한 내용을 따릅니다.

출처

• 이 섹션의 각 수업(풀이 끝의 링크). 공식의 원 출처는 각 수업의 '출처' 절을 따릅니다.
• 참고: arxiv.org/abs/2107.03374 (2021 · Mark Chen 외, pass@k 불편 추정)
• 참고: arxiv.org/abs/2203.15556 (2022 · Jordan Hoffmann 외, 친칠라)
• 참고: arxiv.org/abs/1707.06347 (2017 · John Schulman 외, PPO)
• 참고: arxiv.org/abs/2305.18290 (2023 · Rafael Rafailov 외, DPO)