프라이버시와 보안: 멤버십 추론 · 차등 프라이버시 · DP-SGD · 적대적 예제 · 프롬프트 인젝션

프라이버시와 보안: 멤버십 추론 · 차등 프라이버시 · DP-SGD · 적대적 예제 · 프롬프트 인젝션

모델은 학습 데이터를 '외워서' 새어 나가게 할 수도 있고, 사람 눈에 보이지 않는 작은 조작에 속을 수도 있습니다. 이 수업은 학습 데이터 속 개인을 지키는 쪽(멤버십 추론 공격 → 차등 프라이버시 → DP-SGD · 연합 학습)과 모델을 속이는 공격에 버티는 쪽(적대적 예제 · FGSM → LLM 프롬프트 인젝션)을 손계산과 함께 정리합니다.

들어가기 전에

• 확률과 통계 최소한 — 확률분포 · 기댓값 · 분산
• 딥러닝 (Goodfellow) — 미니배치 SGD와 과적합. DP-SGD는 SGD 한 걸음을 고칩니다.
• AI 공정성: 편향 지표와 불가능성 정리 — 같은 트랙의 앞 수업

한눈에 보기

• 모델 출력만 보고 "이 사람 데이터가 학습에 들어갔나"를 맞히는 멤버십 추론이 왜 가능한지 압니다.
• 차등 프라이버시의 정의를 한 문장으로 말하고, 라플라스 잡음 크기를 $\Delta f/\varepsilon$ 로 계산합니다.
• DP-SGD가 SGD에 더하는 두 가지(예제별 기울기 클리핑, 잡음)를 숫자로 따라갑니다.
• FGSM으로 입력을 아주 조금 바꿔 점수를 크게 움직이는 원리를 선형 모델로 계산합니다.
• LLM 앱의 직접 · 간접 프롬프트 인젝션과 OWASP가 권하는 완화 방법을 압니다.

1. 모델은 학습 데이터를 흘린다: 멤버십 추론

직관(해설용 비유). 시험 문제를 미리 본 학생은 그 문제에서만 유난히 빠르고 자신 있게 답합니다. 과적합한 모델도 학습에 쓴 데이터에서는 확신이 높은 출력을, 처음 보는 데이터에서는 덜 확신하는 출력을 냅니다. 이 차이를 읽으면 "이 기록이 학습 데이터에 있었나"를 추측할 수 있습니다.

Shokri · Stronati · Song · Shmatikov(IEEE S&P 2017)는 모델에 질의만 할 수 있는 블랙박스 조건에서 이 공격을 보였습니다. 공격자는 대상 모델이 학습 데이터와 아닌 데이터에 내는 예측의 차이를 구별하는 공격 모델 을 따로 학습하고, Google · Amazon의 '서비스형 머신러닝'으로 만든 분류 모델에서도 정보가 새는 것을 확인했습니다. 병원 진료 기록으로 학습한 모델이라면 "학습에 들어갔다" 자체가 "그 병원 환자였다"는 민감 정보가 됩니다.

익명화만으로는 부족합니다. 이름 열을 지워도 나이 · 우편번호 · 성별 같은 조합으로 다시 식별될 수 있습니다. 그래서 "데이터를 어떻게 가공했나"가 아니라 "결과가 한 사람의 참여 여부에 얼마나 민감한가"를 수학적으로 제한하는 차등 프라이버시가 나왔습니다.

2. 차등 프라이버시(Differential Privacy)

직관. 내가 설문에 참여하든 안 하든 발표되는 통계가 거의 같다면, 그 통계로 나에 대해 알아낼 수 있는 것은 거의 없습니다. 차등 프라이버시는 "거의 같다"를 $e^\varepsilon$ 배로 정량화합니다.

정의. 한 사람의 기록만 다른 두 데이터베이스 $d$, $d'$ 와 모든 출력 집합 $S$ 에 대해

라플라스 메커니즘. 숫자 질의 $f$(예: "당뇨 환자 수")에 잡음을 더합니다. 잡음의 크기는 민감도 에 맞춥니다. Dwork · Roth 책의 정의 3.1 · 3.3을 옮기면

이고, 책의 정리 3.6은 이 메커니즘이 $(\varepsilon, 0)$-DP를 만족함을 보입니다. 척도 $b$ 인 라플라스 분포의 분산은 $2b^2$ 입니다.

숫자로 해 보기(해설용, 파이썬으로 검산). 환자 수 세기는 한 사람이 바뀌면 많아야 1이 바뀌므로 $\Delta f = 1$ 입니다.

실제 환자 수가 100명인 데이터베이스와 101명인 데이터베이스에서 $\varepsilon=0.5$ 로 발표하면, 어떤 값 $z$ 가 나올 확률 밀도의 비는 늘 $e^{-0.5}\approx0.61$ 과 $e^{0.5}\approx1.65$ 사이에 머뭅니다. 발표된 숫자만으로는 그 한 사람이 있는지 확신할 수 없습니다. 대신 $\varepsilon$ 을 작게 할수록 통계가 부정확해집니다. 프라이버시와 정확도의 맞바꿈 입니다.

가장 오래된 예: 무작위 응답. "지난주 XYZ를 했나요?"에 답할 때 동전을 던져 뒷면이면 사실대로, 앞면이면 동전을 한 번 더 던져 앞면이면 "예", 뒷면이면 "아니오"라고 답합니다. Dwork · Roth 책은 이 방법이 $(\ln 3, 0)$-DP임을 보입니다(실제 "예"인 사람이 "예"라 답할 확률 3/4, 실제 "아니오"인 사람이 "예"라 답할 확률 1/4, 비 3).

숫자로 해 보기(해설용). 응답의 40%가 "예"였다면, 진짜 비율 $\pi$ 는 $0.4 = 0.25 + 0.5\pi$ 에서 $\pi = 0.30$ 으로 추정합니다. 개인의 답은 숨기면서 집단 통계는 얻습니다.

3. DP-SGD: 차등 프라이버시로 딥러닝 학습하기

직관. 학습의 매 걸음에서 한 사람의 데이터가 모델을 너무 세게 밀지 못하게 밀 수 있는 힘의 상한을 정하고(클리핑), 그 위에 잡음을 섞어 누가 밀었는지 흐립니다.

단계(Abadi 외, ACM CCS 2016의 알고리즘 1).

1. 각 예제를 확률 $q = L/N$ 으로 뽑아 묶음(lot)을 만듭니다.
2. 예제마다 따로 기울기 $g_i$ 를 계산합니다.
3. 클리핑: $\bar g_i = g_i / \max(1, \|g_i\|_2 / C)$ — 길이가 $C$ 를 넘으면 $C$ 로 줄입니다.
4. 잡음과 평균: $\tilde g = \frac1L\big(\sum_i \bar g_i + \mathcal N(0, \sigma^2C^2 I)\big)$
5. 한 걸음: $\theta \leftarrow \theta - \eta\,\tilde g$
6. 학습이 끝나면 프라이버시 회계(moments accountant) 로 전체 $(\varepsilon, \delta)$ 를 계산합니다.

숫자로 해 보기(해설용, 파이썬으로 검산). $C=1$ 일 때 기울기 $(3, 4)$ 는 길이 5라 $(0.6, 0.8)$ 로 줄고, $(0.3, -0.4)$ 는 길이 0.5라 그대로입니다. 어떤 한 사람도 합에 길이 1보다 큰 영향을 줄 수 없게 되므로, 잡음 크기를 $C$ 에 비례해 정할 수 있습니다.

왜 회계가 필요한가. 걸음마다 조금씩 정보가 새고 수천 걸음이 쌓입니다. 논문의 moments accountant는 이 누적을 기존 '강한 합성' 정리보다 훨씬 촘촘하게 셉니다. 논문의 예에서 $q=0.01$, $\sigma=4$, $\delta=10^{-5}$, 100 에폭이면 moments accountant로 $\varepsilon\approx1.26$, 강한 합성으로는 $\varepsilon\approx9.34$ 입니다. MNIST에서 $(\varepsilon,\delta) = (0.5, 10^{-5})$ · $(2, 10^{-5})$ · $(8, 10^{-5})$ 일 때 테스트 정확도 약 90% · 95% · 97%를 보고했습니다(비공개 기준선 98.30%).

4. 연합 학습(Federated Learning)

직관. 데이터를 한곳에 모으지 않고 모델이 데이터에게 찾아갑니다. 휴대폰마다 자기 데이터로 모델을 조금 학습하고, 서버는 학습 결과(가중치 변화)만 모아 평균 냅니다.

McMahan 외(AISTATS 2017)의 FederatedAveraging은 기기들의 로컬 업데이트를 반복해서 평균하는 방법으로, 동기식 SGD보다 통신 횟수를 10~100배 줄였고 기기마다 데이터가 불균형하거나 분포가 달라도(non-IID) 견딘다고 보고했습니다.

주의. 원본 데이터가 기기를 떠나지 않는다고 프라이버시가 자동으로 보장되지는 않습니다. 업데이트에도 정보가 담길 수 있어, 실무에서는 차등 프라이버시나 안전한 집계 같은 기법을 함께 씁니다.

5. 적대적 예제와 FGSM

직관. 사진의 모든 픽셀을 사람이 못 알아챌 만큼 아주 조금씩, 그러나 모두 모델이 틀리는 방향으로 바꾸면 효과가 쌓여 예측이 뒤집힙니다.

Goodfellow · Shlens · Szegedy(2014)는 신경망이 적대적 조작에 약한 주된 원인을 비선형성이 아니라 선형적인 성질 로 설명하고, 빠른 공격법(FGSM, fast gradient sign method)을 제시했습니다.

숫자로 해 보기(해설용, 파이썬으로 검산). 선형 점수 $z = w\cdot x$, $w=(2,-1,0.5)$, $x=(0.5,0.2,1.0)$ 이면 $z=1.3$ 입니다. 점수를 낮추려면 $x$ 를 $-\varepsilon\,\mathrm{sign}(w)$ 방향으로 옮깁니다. $\varepsilon=0.1$ 이면 $x_{\text{adv}} = (0.4, 0.3, 0.9)$, 점수는 $0.95$ 로 $\varepsilon\|w\|_1 = 0.1\times3.5 = 0.35$ 만큼 떨어집니다. 원소 하나는 0.1만 바뀌었지만 변화가 차원 수만큼 쌓입니다. 입력이 1,000차원이고 $|w_i|$ 가 평균 1이면 $\varepsilon=0.01$ 로도 점수가 $1000\times0.01 = 10$ 움직입니다. 이것이 "선형성 때문"이라는 설명의 핵심입니다.

논문의 유명한 예에서 GoogLeNet은 판다 사진을 57.7% 확신으로 '판다'라 했지만, $\varepsilon=0.007$ 의 FGSM 잡음을 더한 사진은 99.3% 확신으로 '긴팔원숭이'라 했습니다. 논문은 적대적 예제로 함께 학습하는 적대적 학습 이 방어에 도움이 됨도 보였습니다.

6. LLM 시대의 공격: 프롬프트 인젝션

OWASP의 「Top 10 for LLM Applications」 2025판은 첫 번째 위험으로 프롬프트 인젝션(LLM01:2025) 을 꼽습니다. 정의는 "사용자 프롬프트가 LLM의 행동이나 출력을 의도하지 않은 방식으로 바꾸는 취약점"이며, 사람이 알아보지 못하는 입력이라도 모델이 해석하면 해당됩니다.

에이전트가 도구(메일 발송 · 결제 · 코드 실행)를 쓸수록 간접 인젝션의 피해가 커집니다. OWASP가 권하는 완화책은 ① 모델 행동 제한 ② 출력 형식 정의 · 검증 ③ 입력 · 출력 필터링 ④ 최소 권한 ⑤ 위험한 행동에 사람 승인 ⑥ 외부 내용을 분리해 표시 ⑦ 적대적 시험(레드팀)입니다. OWASP는 RAG나 미세조정만으로는 프롬프트 인젝션을 완전히 막지 못한다는 연구 결과도 언급합니다. 핵심은 모델이 속을 수 있다고 가정하고 시스템을 설계 하는 것입니다.

123456789flowchart LR
  A[학습 데이터] -->|멤버십 추론 위험| B[DP-SGD<br/>클리핑 + 잡음 + 회계]
  A -->|모으지 않고| C[연합 학습<br/>+ 안전한 집계]
  B --> D[학습된 모델]
  C --> D
  D --> E[배포된 앱 · 에이전트]
  F[적대적 입력<br/>FGSM 등] -->|적대적 학습으로 대비| D
  G[외부 문서 · 웹페이지] -->|간접 프롬프트 인젝션| E
  E --> H[완화: 최소 권한 · 출력 검증<br/>사람 승인 · 레드팀]

연습 문제

1. 평균 연봉 질의에서 한 사람이 바뀔 때 결과가 최대 50만 원 바뀝니다($\Delta f = 50$). $\varepsilon = 1$ 이면 라플라스 척도는?
   • 풀이: $b = \Delta f/\varepsilon = 50$(만 원)입니다. $\varepsilon=0.5$ 면 100으로 두 배가 됩니다.
2. DP-SGD에서 $C=2$, 기울기 $(6, 8)$ 의 클리핑 결과는?
   • 풀이: 길이 10이므로 $10/2 = 5$ 로 나눠 $(1.2, 1.6)$ 입니다.
3. 무작위 응답에서 "예" 비율이 30%라면 진짜 비율의 추정값은?
   • 풀이: $0.3 = 0.25 + 0.5\pi$ → $\pi = 0.1$ 입니다.
4. 본문 FGSM 예에서 $\varepsilon = 0.2$ 면 점수는 얼마나 떨어지나요?
   • 풀이: $0.2\times3.5 = 0.7$ 떨어져 $0.6$ 이 됩니다.

스스로 점검

1. 과적합이 멤버십 추론을 쉽게 만드는 이유는?
   • 답: 학습 데이터와 처음 보는 데이터에서 모델의 확신도 · 손실 차이가 커져, 출력만으로 둘을 구별하기 쉬워지기 때문입니다.
2. $\varepsilon$ 을 줄이면 무엇을 얻고 무엇을 잃나요?
   • 답: 한 사람의 참여가 결과에 미치는 영향이 더 작게 제한되어 보호가 강해지지만, 잡음이 커져 통계 · 모델 정확도가 떨어집니다.
3. 간접 프롬프트 인젝션이 직접 인젝션보다 위험한 이유는?
   • 답: 공격자가 사용자가 아니어도 되고, 모델이 읽는 웹페이지 · 문서에 지시를 숨겨 사용자 권한으로 도구를 실행시킬 수 있기 때문입니다.

용어 정리

더 깊이 보려면

• Dwork · Roth, The Algorithmic Foundations of Differential Privacy 2 · 3장
• Abadi 외, Deep Learning with Differential Privacy: arxiv.org/abs/1607.00133
• OWASP LLM01:2025 Prompt Injection: genai.owasp.org/llmrisk/llm01-prompt-inje…
• 헌법적 AI: AI 피드백으로 무해성 학습 — 모델 행동 쪽 안전

다음에 볼 것

• AI 규제 · 저작권 · 책임 있는 AI 개요 — 개인정보 · 안전 요구가 법 · 표준에 어떻게 들어가 있나
• Reflexion: 말로 하는 강화학습 에이전트 — 도구를 쓰는 에이전트가 어떻게 동작하는지(인젝션 위험을 이해하는 배경)
• 보안 · 개인정보 실무: 입력 금지 정보 · 프롬프트 인젝션 · 로그와 감사 — 회사에서 지킬 보안 · 개인정보 지침(AX)

라이선스

본문은 KAITABASE 자체 해설입니다. 참고한 Dwork · Roth 책은 저자가 무료 PDF로 공개했으며 별도 라이선스 표기는 확인하지 못해 개념만 참고했습니다. 환자 수 · 연봉 · 벡터 숫자는 이 수업을 위해 만든 해설용 예이며 파이썬으로 검산했습니다. MNIST 정확도 · 판다 예 수치는 각 논문의 수치입니다.

출처

• Dwork · Roth, The Algorithmic Foundations of Differential Privacy (Foundations and Trends in TCS): cis.upenn.edu/~aaroth/privacybook.html
• Shokri 외 (2017), Membership Inference Attacks against Machine Learning Models, IEEE S&P 2017: arxiv.org/abs/1610.05820
• Abadi 외 (2016), Deep Learning with Differential Privacy, ACM CCS 2016: arxiv.org/abs/1607.00133
• McMahan 외 (2017), Communication-Efficient Learning of Deep Networks from Decentralized Data, AISTATS 2017: arxiv.org/abs/1602.05629
• Goodfellow · Shlens · Szegedy (2014), Explaining and Harnessing Adversarial Examples: arxiv.org/abs/1412.6572
• OWASP Top 10 for LLM Applications 2025: genai.owasp.org/llm-top-10