ROI · 효과 측정: 기준선 · 시간 절감 · 품질 지표 · 비용(토큰 · 라이선스 · 인건비) 계산

ROI · 효과 측정: 기준선 · 시간 절감 · 품질 지표 · 비용(토큰 · 라이선스 · 인건비) 계산

"AI 덕분에 빨라졌다"는 말은 숫자가 없으면 확산 예산을 받지 못합니다. 이 수업은 도입 전 기준선 을 재는 법, 시간 절감을 활용률 · 검토 시간까지 반영해 계산하는 법, 속도만이 아닌 품질 지표, 라이선스 · 토큰 · 교육 · 운영 인건비를 모두 넣은 비용 계산, ROI와 회수 기간, 그리고 가정이 조금만 바뀌어도 결과가 뒤집히는 민감도 분석 까지 손으로 계산해 봅니다. 모든 단가 · 시급 · 비율은 해설용 가정이며 실제 가격이 아닙니다.

들어가기 전에

• 사용 사례 우선순위 — 기대 순가치 계산
• 토큰이 무엇인지 모르면: 토큰은 모델이 글을 자르는 단위이며, 사용량 요금은 대개 입력 · 출력 토큰 수에 따라 매겨집니다.

한눈에 보기

• 기준선(도입 전 시간 · 품질 · 비용)을 먼저 재야 효과를 말할 수 있습니다.
• 시간 절감 = 대상 인원 × 작업 시간 × 절감률 × 활용률 × 근무 주수.
• 품질 지표(오류율 · 재작업률 · 고객 만족)를 속도와 함께 봅니다.
• 비용에는 라이선스 · 토큰 · 교육 · 운영 인력을 모두 넣습니다.
• 절감률과 활용률이 절반으로 줄면 ROI가 음수가 될 수 있음을 계산으로 확인합니다.

1. 조직 성과는 저절로 오지 않는다

McKinsey 2026 조사(1,719명 응답)에서 AI가 개인 생산성을 높였다는 응답은 80%였지만, EBIT에 조금이라도 기여했다는 응답은 37%로 전년과 비슷했습니다. 또 응답자의 약 20%는 토큰 비용을 포함한 AI 운영 비용이 사용을 제약했다고 답했습니다. Gartner(2024-07-29)도 생산성 향상을 재무 이익으로 직접 옮기기 어렵다는 점을 PoC 중단 원인과 함께 언급했습니다. ROI 계산은 이 간극을 미리 숫자로 드러내는 도구 입니다.

직관(해설용 비유). 다이어트 효과를 말하려면 시작 체중을 재 둬야 합니다. 그리고 체중만이 아니라 근육량(품질)도 봐야 합니다. AX의 기준선과 품질 지표가 그 역할입니다.

2. 기준선 재기

단계.

1. 대상 작업을 정합니다(업무 진단의 작업 단위).
2. 2~4주 동안 건수 · 건당 시간 · 오류(재작업) 건수 를 기록합니다. 티켓 · PR · 결재 시스템 기록이 있으면 그것을 씁니다.
3. 품질 지표 하나 이상을 정합니다. 예: 고객 재문의율, 검토에서 반려된 비율, 배포 후 버그 수.
4. 같은 기간 대조 팀(AI 미사용) 을 둘 수 있으면 둡니다. 계절 · 업무량 변화를 걸러 줍니다(파일럿에서 확산까지).

왜 자기 보고만으로는 부족한가. 숙련 개발자 16명을 대상으로 한 METR 실험(2025)에서 참가자들은 AI로 20% 빨라졌다고 느꼈지만 실제 측정은 19% 느려졌습니다. 느낌과 측정은 다를 수 있으므로 기록 데이터로 재야 합니다.

3. 시간 절감 공식

왜 활용률을 넣나. 라이선스를 받은 사람이 모두 매주 쓰지는 않습니다. 활용률을 빼면 효과가 크게 부풀려집니다. 실제 활용률은 도구의 사용 로그로 잽니다.

숫자로 해 보기. $H = 20\times4\times0.4\times0.7\times46 = 1{,}030.4$ 시간. 시간당 인건비를 4만 원으로 가정하면 연간 가치는 $1{,}030.4\times4\text{만} \approx 4{,}121.6\text{만}$ 원입니다.

4. 품질 지표

속도만 보면 "빨라졌지만 틀린" 결과를 놓칩니다. 작업 성격에 맞게 하나 이상 고릅니다.

평가 지표를 세우는 기술적 방법은 LLM 평가에서 다룹니다.

5. 비용 항목

토큰 비용 계산(해설용 단가). 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러라고 가정합니다(실제 단가는 모델 · 시점마다 다르므로 공급사 가격표를 확인하세요). 요청 1건이 입력 3,000토큰, 출력 800토큰이면

월 1만 건이면 210달러, 환율을 1,400원으로 가정하면 약 29만 4천 원입니다. 출력 단가가 입력보다 비싼 경우가 많아 긴 출력 이 비용을 키운다는 점, 문서를 통째로 넣는 RAG는 입력 토큰이 커진다는 점을 기억합니다.

6. ROI와 회수 기간

숫자로 해 보기. $(4{,}121.6\text{만} - 1{,}640\text{만}) \div 1{,}640\text{만} \approx 1.513$, 즉 약 151% 입니다.

회수 기간. 교육비 320만 원을 처음에 한 번 쓰고, 라이선스 · 운영비는 매달 $(720\text{만}+600\text{만})\div12 = 110\text{만}$ 원씩 든다고 봅니다. 월 가치는 $4{,}121.6\text{만}\div12 \approx 343.5\text{만}$ 원이므로 월 순이익은 약 233.5만 원, 초기 비용 회수에 $320 \div 233.5 \approx 1.4$ 개월이 걸립니다.

7. 민감도 분석: 가정이 틀리면?

순 절감률이 0.4가 아니라 0.2, 활용률이 0.7이 아니라 0.5라면

비용은 그대로 1,640만 원이므로 순이익 −168만 원, ROI 약 −10% 입니다. 두 가정이 조금씩만 나빠져도 결과가 뒤집힙니다. 그래서

• 보고서에는 낙관 · 기준 · 비관 세 경우를 함께 적고,
• 파일럿에서 $r$ 과 $a$ 를 실제로 재서 가정을 교체합니다.

8. 측정 함정

1. 절감 시간 = 비용 절감으로 착각 — 인원 · 외주비가 실제로 줄거나, 남은 시간이 매출 · 품질 개선 같은 다른 일로 옮겨 갈 때만 재무 효과가 됩니다. 어디로 옮겨 갔는지 기록합니다.
2. 검토 시간 누락 — 순 절감률 $r$ 에 검토 증가를 반드시 반영합니다.
3. 초기 열기 효과 — 도입 직후에는 관심이 높아 활용률이 높습니다. 최소 2~3개월 추이를 봅니다.
4. 선택 편향 — 열성 사용자만 측정하면 효과가 커 보입니다. 대상 전원 또는 무작위 표본으로 잽니다.
5. 품질 하락 무시 — 속도와 품질 지표를 같은 보고서에 둡니다.

123456789101112flowchart LR
  A[대상 작업 정의] --> B[기준선 2~4주<br/>건수 · 시간 · 오류]
  B --> C[파일럿 실행]
  C --> D[순 절감률 r · 활용률 a 측정]
  C --> E[품질 지표 측정]
  D --> F[연간 가치 = H × 시급]
  G[비용: 라이선스 · 토큰<br/>교육 · 운영 인력] --> H[ROI · 회수 기간]
  F --> H
  E --> I{품질 유지?}
  H --> J[낙관 · 기준 · 비관 민감도]
  I --> K[확산 · 수정 · 중단 결정]
  J --> K

연습 문제

1. 대상 10명, 주당 6시간, 순 절감률 0.3, 활용률 0.8, 46주. 연간 절감 시간은?
   • 풀이: $10\times6\times0.3\times0.8\times46 = 662.4$ 시간입니다.
2. 요청 1건이 입력 8,000토큰, 출력 500토큰입니다. 1번과 같은 가정 단가(입력 3달러 · 출력 15달러 / 100만 토큰)로 1건 비용은?
   • 풀이: $8{,}000\times3/10^6 = 0.024$, $500\times15/10^6 = 0.0075$, 합 0.0315달러입니다. 이번에는 입력 비중이 큽니다.
3. 연간 가치 3,000만 원, 비용 2,000만 원이면 ROI는?
   • 풀이: $(3{,}000-2{,}000)\div2{,}000 = 0.5$, 50%입니다.
4. "AI로 주 4시간이 남았다"고 보고받았습니다. 재무 효과로 인정하려면 무엇을 더 확인해야 하나요?
   • 풀이: 남은 시간이 어디에 쓰였는지(추가 처리량 · 외주 감소 · 새 업무), 품질 지표가 유지되었는지, 검토 시간이 반영되었는지입니다.

스스로 점검

1. 활용률 $a$ 를 빼고 계산하면 어떻게 되나요?
   • 답: 라이선스를 받은 전원이 매번 쓴다고 가정하게 되어 효과가 부풀려집니다.
2. 민감도 분석을 왜 하나요?
   • 답: 절감률 · 활용률 같은 가정이 조금만 바뀌어도 ROI가 음수로 바뀔 수 있으므로, 결정이 어떤 가정에 기대는지 드러내기 위해서입니다.
3. 자기 보고 설문만으로 효과를 재면 생기는 문제는?
   • 답: 느낌과 실제가 다를 수 있습니다. METR 실험에서는 참가자가 20% 빨라졌다고 느꼈지만 측정은 19% 느려졌습니다.

용어 정리

더 깊이 보려면

• McKinsey, The state of AI in 2026: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
• METR 실험 논문: https://arxiv.org/abs/2507.09089

다음에 볼 것

• 도구 선택: 범용 챗봇 · 업무 앱 내장 AI · API · 자체 구축
• 배포 · 서빙 · 모니터링 — LLM 앱 운영 비용

라이선스

본문은 KAITABASE 자체 해설입니다. 조사 수치는 원문을 짧게 인용 · 요약했습니다. 단가 · 시급 · 비율은 모두 해설용 가정입니다.

출처

• McKinsey, The state of AI in 2026: On the road to ROI (2026-08-25): https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
• Gartner 보도자료 (2024-07-29): https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025
• Becker 외 (2025), Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity: https://arxiv.org/abs/2507.09089