AI 공정성: 편향은 어디서 오나 · 공정성 지표 · 불가능성 정리

AI 공정성: 편향은 어디서 오나 · 공정성 지표 · 불가능성 정리

정확도가 높은 모델도 집단에 따라 다르게 틀릴 수 있습니다. 이 수업은 편향이 데이터 수집부터 배포까지 어디서 끼어드는지 정리하고, 두 집단의 혼동 행렬을 손으로 계산하며 인구 통계 동등 · 균등화 오즈 · 기회 균등 · 예측 동등(보정)을 비교합니다. 그리고 "기준이 되는 비율이 다르면 이 지표들을 한꺼번에 맞출 수 없다"는 불가능성 정리를 숫자로 확인합니다.

들어가기 전에

• 모델 평가와 과적합: 데이터 나누기 · 혼동 행렬 · 정규화 — TP · FP · FN · TN, 정밀도 · 재현율. 이 수업의 모든 지표가 혼동 행렬에서 나옵니다.
• 확률과 통계 최소한 — 조건부 확률 $P(A\mid B)$ 와 베이즈 정리
• 모델 설명하기: 특징 중요도 · SHAP — 모델이 어떤 특징에 기대는지 보는 도구

한눈에 보기

• 편향이 생기는 일곱 단계(역사 · 표본 · 측정 · 집계 · 학습 · 평가 · 배포)를 구분합니다.
• 민감 속성(성별 · 인종 등) 열을 지우는 것만으로는 공정해지지 않는 이유를 압니다.
• 두 집단 혼동 행렬로 선택률 · TPR · FPR · PPV를 직접 계산합니다.
• 공정성 기준 세 묶음(독립 · 분리 · 충분)이 서로 무엇을 요구하는지 압니다.
• 집단의 기저율이 다르면 예측 동등과 오류율 균형을 동시에 맞출 수 없다는 것을 식 하나로 확인합니다.

1. 편향은 어디서 오나

직관(해설용 비유). 오래된 지도로 길 안내를 하면, 안내 프로그램이 아무리 정확해도 새로 난 길은 모릅니다. 모델은 데이터가 그린 세상을 배우므로, 데이터가 세상을 비뚤게 담았거나 세상 자체가 불공정하면 모델도 그 비뚤어짐을 배웁니다.

Suresh · Guttag는 머신러닝 수명 주기에서 해를 끼칠 수 있는 일곱 가지 출처를 이렇게 나눕니다.

민감 속성을 빼면 될까? 『Fairness and Machine Learning』은 이를 '모르는 척하기(fairness through unawareness)'라 부르며 효과가 없다고 설명합니다. 다른 특징들이 민감 속성을 중복 부호화(redundant encoding) 하기 때문입니다. 하나하나는 약하게 상관된 특징(어떤 웹사이트 방문 여부 등)도 합치면 성별을 높은 정확도로 맞힐 수 있고, 모델은 그렇게 하는 것이 정확도를 높인다면 시키지 않아도 그런 정보를 만들어 냅니다.

2. 혼동 행렬에서 나오는 지표들

단계. 집단 $a$ 마다 혼동 행렬을 따로 만들고 다음 비율을 계산합니다.

숫자로 해 보기(해설용, 파이썬으로 검산). 두 집단 A · B가 각각 100명입니다. A의 기저율은 50%, B는 20%입니다.

정확도 · TPR · FPR은 같지만 선택률과 PPV는 다릅니다. 이 모델은 공정할까요? 어떤 기준으로 보느냐 에 따라 답이 달라집니다.

3. 공정성 기준 세 묶음

『Fairness and Machine Learning』은 점수 $R$, 민감 속성 $A$, 실제 결과 $Y$ 사이의 독립 관계로 기준을 세 묶음으로 정리합니다.

① 독립(independence): $R \perp A$ — 인구 통계 동등(demographic parity). 집단과 상관없이 선택률이 같아야 합니다.

비율로 느슨하게 쓴 것이 '80% 규칙'입니다(작은 쪽 선택률 ÷ 큰 쪽 선택률 ≥ 0.8). 위 예는 $0.32/0.50 = 0.64$ 로 기준에 못 미칩니다. 단점은 기저율이 실제로 다를 때도 같은 비율을 강요한다는 점입니다.

② 분리(separation): $R \perp A \mid Y$ — 균등화 오즈(equalized odds). 실제 결과가 같은 사람끼리는 집단과 상관없이 같은 비율로 맞고 틀려야 합니다. Hardt · Price · Srebro(NIPS 2016)가 이름 붙였습니다.

즉 TPR과 FPR이 모두 같아야 합니다. 같은 논문의 완화판인 기회 균등(equality of opportunity) 은 양성($Y=1$)에 대해서만, 즉 TPR(= 1 − FNR)만 같게 요구합니다. "자격 있는 사람이 기회를 받는 비율은 집단과 무관해야 한다"는 뜻입니다. 위 예는 TPR · FPR이 모두 0.80 · 0.20으로 같아 균등화 오즈를 만족합니다. 논문은 이미 학습한 모델의 출력을 집단별 문턱값 등으로 조정해 이 기준을 맞추는 사후 처리 방법도 제시합니다.

③ 충분(sufficiency): $Y \perp A \mid R$ — 예측 동등 · 그룹별 보정(calibration). 같은 점수를 받은 사람은 집단과 상관없이 실제 양성 확률이 같아야 합니다. 이진 분류기에서는 PPV(와 NPV)가 같아야 합니다. 점수 버전은 그룹별 보정입니다.

위 예는 PPV가 0.80 · 0.50으로 달라 예측 동등을 만족하지 않습니다. "고위험" 판정을 받은 B 집단 사람의 절반은 실제로 음성입니다.

4. 불가능성 정리: 다 맞출 수는 없다

직관. 위 예에서 PPV까지 맞추려고 B의 숫자를 고치면 다른 무엇이 깨집니다. 우연이 아니라 산수의 결과입니다.

Chouldechova(2017)는 혼동 행렬의 정의만으로 다음 관계식(논문 식 2.6)을 보였습니다.

두 집단의 PPV가 같고(예측 동등) FNR도 같다면, 남는 차이는 $p/(1-p)$ 뿐입니다. 기저율 $p$ 가 다르면 FPR은 반드시 달라집니다.

숫자로 해 보기(해설용, 파이썬으로 검산). A는 $p=0.5$: $\frac{0.5}{0.5}\cdot\frac{0.2}{0.8}\cdot0.8 = 0.2$ — 본문 표와 같습니다. B도 PPV를 0.8로 맞추고 FNR을 0.2로 유지하면 $\frac{0.2}{0.8}\cdot\frac{0.2}{0.8}\cdot0.8 = 0.05$. B의 FPR은 0.05가 되어야 하고(예: TP 16 · FN 4 · FP 4 · TN 76), A의 0.20과 달라집니다. 예측 동등을 얻는 대신 균등화 오즈를 잃었습니다.

Chouldechova 논문은 미국 형사 사법에서 쓰인 재범 위험 도구 COMPAS 데이터에서, 데이터상 재범률이 흑인 피고인 51% · 백인 피고인 39%로 달라 이런 오류율 불균형이 생길 수밖에 없음을 보였습니다.

Kleinberg · Mullainathan · Raghavan(ITCS 2017)은 점수 버전에서 비슷한 결과를 증명했습니다. ① 집단 내 보정, ② 음성 집단에 대한 균형(실제 음성인 사람들의 평균 점수가 집단 간 같음), ③ 양성 집단에 대한 균형 — 세 조건을 모두 만족하려면 완벽한 예측 이 가능하거나 기저율이 같아야 합니다. 『Fairness and Machine Learning』도 독립 · 분리 · 충분 중 둘을 함께 맞추는 것이 일반적으로(민감 속성과 결과가 독립이 아닐 때) 불가능하다는 명제들을 정리합니다.

왜 중요한가. "공정한 모델"이라는 말만으로는 아무것도 정하지 못합니다. 어떤 오류(놓침 · 오탐)가 누구에게 더 큰 해를 끼치는지 따져 어떤 기준을 우선할지 사람이 정하고 문서로 남겨야 합니다. 대출 심사라면 자격 있는 사람을 놓치는 것(기회 균등), 의료 선별이라면 같은 점수의 의미가 같도록 하는 것(보정)이 더 중요할 수 있습니다.

12345678flowchart LR
  A[문제 정의<br/>누구에게 어떤 해?] --> B[데이터 점검<br/>표본 · 측정 · 라벨]
  B --> C[집단별 혼동 행렬]
  C --> D[지표 계산<br/>선택률 · TPR · FPR · PPV]
  D --> E{우선할 기준 선택<br/>독립 · 분리 · 충분}
  E --> F[완화<br/>전처리 · 학습 중 · 사후 처리]
  F --> G[재평가 · 문서화<br/>모델 카드]
  G --> H[배포 후 모니터링]

5. 완화 방법 세 갈래

어느 방법이든 정확도와 맞바꾸는 부분 이 생길 수 있고, 집단별 문턱값처럼 민감 속성을 직접 쓰는 방법은 영역에 따라 법적으로 허용되지 않을 수 있습니다. 기술 선택과 함께 법 · 정책 검토가 필요합니다(→ 다음 수업들).

연습 문제

1. 집단 C: TP 30, FN 20, FP 5, TN 45. 선택률 · TPR · FPR · PPV를 구하세요.
   • 풀이: 선택률 $35/100 = 0.35$, TPR $30/50 = 0.6$, FPR $5/50 = 0.1$, PPV $30/35\approx0.857$ 입니다.
2. 선택률이 집단 X 0.60, Y 0.45입니다. 80% 규칙을 만족하나요?
   • 풀이: $0.45/0.60 = 0.75 < 0.8$ 이라 만족하지 않습니다.
3. 기저율 $p=0.25$, PPV $=0.6$, FNR $=0.3$ 이면 FPR은?
   • 풀이: $\frac{0.25}{0.75}\cdot\frac{0.4}{0.6}\cdot0.7 = \frac13\cdot\frac23\cdot0.7\approx0.156$ 입니다.
4. 두 집단의 기저율이 같다면 불가능성 정리는 어떻게 되나요?
   • 풀이: 식의 $p/(1-p)$ 가 같아져, PPV · FNR · FPR을 함께 맞추는 것이 가능해집니다. Kleinberg 외의 예외 조건(기저율이 같음)과 같은 이야기입니다.

스스로 점검

1. 성별 열을 지운 모델은 왜 여전히 성별에 따라 다르게 작동할 수 있나요?
   • 답: 다른 특징들이 성별 정보를 중복해서 담고 있어(중복 부호화), 모델이 그 조합으로 사실상 성별을 다시 만들어 쓸 수 있기 때문입니다.
2. 균등화 오즈와 기회 균등의 차이는?
   • 답: 균등화 오즈는 TPR과 FPR을 모두 집단 간 같게, 기회 균등은 TPR(실제 양성 중 양성 판정 비율)만 같게 요구합니다.
3. 불가능성 정리가 실무에 주는 교훈은?
   • 답: 기저율이 다른 현실에서는 모든 공정성 지표를 동시에 맞출 수 없으므로, 어떤 해를 줄일지 사람이 기준을 골라 근거와 함께 문서화해야 한다는 것입니다.

용어 정리

더 깊이 보려면

• Barocas · Hardt · Narayanan, Fairness and Machine Learning: fairmlbook.org
• Hardt · Price · Srebro, Equality of Opportunity in Supervised Learning: arxiv.org/abs/1610.02413
• Kleinberg · Mullainathan · Raghavan, Inherent Trade-Offs in the Fair Determination of Risk Scores: arxiv.org/abs/1609.05807
• Chouldechova, Fair prediction with disparate impact: arxiv.org/abs/1703.00056

다음에 볼 것

• 프라이버시와 보안: 차등 프라이버시 · 적대적 예제 · 프롬프트 인젝션 — 데이터 속 개인을 지키고 공격에 버티는 법
• AI 규제 · 저작권 · 책임 있는 AI 개요 — 공정성 요구가 법과 표준에 어떻게 들어가 있나

라이선스

본문은 KAITABASE 자체 해설입니다. 참고 자료 『Fairness and Machine Learning』 웹판은 CC BY-NC-ND 4.0이라 번역 · 각색하지 않고 개념만 참고했습니다. 집단 A · B · C의 숫자는 이 수업을 위해 만든 해설용 예이며 파이썬으로 검산했습니다. COMPAS 재범률(51% · 39%)은 Chouldechova 논문의 수치입니다.

출처

• Barocas · Hardt · Narayanan (2023), Fairness and Machine Learning, Classification 장: fairmlbook.org/classification.html
• Suresh · Guttag (2021), A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle, EAAMO 2021: arxiv.org/abs/1901.10002
• Hardt · Price · Srebro (2016), Equality of Opportunity in Supervised Learning, NIPS 2016: arxiv.org/abs/1610.02413
• Kleinberg · Mullainathan · Raghavan (2017), Inherent Trade-Offs in the Fair Determination of Risk Scores, ITCS 2017: arxiv.org/abs/1609.05807
• Chouldechova (2017), Fair prediction with disparate impact: arxiv.org/abs/1703.00056