도구 선택: 범용 챗봇 · 업무 앱 내장 AI · API · 자체 구축 비교와 보안 · 데이터 조건

도구 선택: 범용 챗봇 · 업무 앱 내장 AI · API · 자체 구축 비교와 보안 · 데이터 조건

같은 사용 사례도 어떤 형태의 도구로 푸느냐에 따라 비용 · 통제 · 위험이 크게 달라집니다. 이 수업은 도입 방식을 네 가지(범용 챗봇, 업무 앱 내장 AI, API 연동, 자체 구축 · 공개 모델 운영)로 나눠 비교하고, 계약 전에 확인할 보안 · 데이터 조건 체크리스트, 좌석 요금과 사용량 요금의 손익분기 계산 을 다룹니다. 가격 숫자는 모두 해설용 가정입니다.

들어가기 전에

• ROI · 효과 측정 — 토큰 비용 계산
• 개발자라면 도구 사용 · 함수 호출 · 구조화 출력을 함께 보면 API 방식이 더 잘 보입니다.

한눈에 보기

• 도입 방식 네 가지의 장단점을 표로 비교합니다.
• "성능"만이 아니라 데이터 민감도 · 통제 · 비용 구조 · 운영 역량 으로 고릅니다.
• 계약 전에 확인할 데이터 조건(학습 사용 여부 · 보존 · 위치 · 접근 통제 · 로그)을 압니다.
• 좌석 요금과 API 요금이 어느 인원에서 갈리는지 계산합니다.

1. 도입 방식 네 가지

직관(해설용 비유). 점심을 해결하는 방법을 떠올려 봅니다. 구내식당(범용 챗봇), 사무실 앞 도시락 정기 배달(업무 앱에 들어간 AI), 재료를 사서 직접 조리(API로 우리 시스템에 연결), 주방을 차리고 요리사를 고용(자체 구축). 아래로 갈수록 마음대로 할 수 있지만 손이 많이 갑니다.

개인정보보호위원회 「공공 AX 프라이버시 보호 안내서」(2026-07-23)도 AI 개발 · 구축 방식을 "상용 서비스 연계, 공개모델 고도화, 자체 개발 / 추가학습, RAG 등"으로 나누고, 방식을 정할 때 성능뿐 아니라 활용되는 개인정보의 민감도, 기관의 개인정보 보호 역량과 여건을 고려하라 고 안내합니다. 공공기관용 안내서지만 민간 조직에도 그대로 쓸 수 있는 기준입니다.

2. 선택 기준 다섯 가지

1. 데이터 민감도 — 입력에 개인정보 · 고객 기밀 · 미공개 재무가 들어가나? 높을수록 통제가 강한 방식(기업용 계약, API의 데이터 미보존 옵션, 자체 운영)을 검토합니다.
2. 업무 흐름 결합도 — 결과가 다른 시스템(CRM · 티켓 · 결재)으로 바로 들어가야 하나? 그렇다면 내장 AI나 API가 맞습니다.
3. 사용 패턴 — 사람이 가끔 대화하나(좌석 요금 유리), 시스템이 대량으로 호출하나(사용량 요금 유리)?
4. 운영 역량 — 프롬프트 · 평가 · 모니터링 · 보안을 맡을 사람이 있나? 없으면 API · 자체 구축은 위험합니다.
5. 잠김(lock-in)과 출구 — 공급사를 바꿀 때 프롬프트 · 데이터 · 평가 세트를 옮길 수 있나?

실제 사례에서 보는 선택. Morgan Stanley 자산관리 부문은 2023년 3월 14일 보도자료에서 OpenAI 기술로 사내 전용(internal-facing) 도구를 만들어, 재무 상담사가 회사 자체 자료에 질문하면 회사 자료에서만 생성한 답을 원문 링크와 함께 받게 한다고 발표했습니다. "적절한 통제를 갖춰 Morgan Stanley를 위해 설계했다"고 밝혔고, OpenAI의 고객 사례 페이지는 데이터 미보존(zero data retention) 정책이 보안 우려를 다루는 데 중요했다고 전합니다. 범용 챗봇이 아니라 API + 사내 자료 검색(RAG) + 통제 를 고른 예입니다. 회사 · 공급사 자료이므로 성과 수치는 자체 발표로 읽어야 합니다(자세한 분석은 사례 분석).

3. 계약 전 보안 · 데이터 체크리스트

공급망 위험. NIST의 생성형 AI 프로파일(NIST AI 600-1, 2024-07-26)은 생성형 AI 고유 위험 12가지 중 하나로 '가치 사슬과 구성 요소 통합(Value Chain and Component Integration)'을 들고, 상류의 제3자 구성 요소 · 데이터가 불투명하게 통합되거나 공급자 검증이 미흡하면 하류 사용자의 투명성 · 책임성이 약해진다고 설명합니다. 도구 선택은 곧 공급자 선택 입니다.

개인정보 관점. 같은 안내서는 상용 AI 서비스를 쓸 경우 개인정보의 외부 전송 · 처리가 생길 수 있어 처리위탁, 제3자 제공, 국외이전 해당 여부와 보호조치 를 충분히 검토하라고 합니다. 자세한 실무는 보안 · 개인정보 실무에서 다룹니다.

4. 숫자로 해 보기: 좌석 요금 vs API(해설용)

가정: 50명 팀, 범용 챗봇 좌석 1인 월 3만 원. API는 1건 0.021달러(앞 수업의 계산), 1인 하루 20건 × 22일, 환율 1,400원, 연동 · 운영 인력 비용 월 100만 원.

1인당 API 사용량 비용은 $20\times22\times0.021\times1{,}400 \approx 12{,}936$ 원입니다. 좌석 요금과의 차이는 1인당 약 17,064원이므로, 고정비 100만 원을 메우려면 $1{,}000{,}000 \div 17{,}064 \approx 58.6$, 즉 약 59명 이상 이어야 API 쪽이 쌉니다.

읽는 법. 비용만 보면 50명에서는 좌석 요금이 조금 쌉니다. 하지만 API는 결과를 티켓 시스템에 바로 넣고 사람 검토 단계를 설계할 수 있습니다. 비용 차이와 업무 결합 가치를 함께 보고 결정합니다. 또 사용량이 사람마다 크게 다르면(소수가 대량 사용) 평균으로 계산한 결과가 틀릴 수 있으니 실제 로그 분포를 확인합니다.

5. 자주 하는 실수

1. 벤치마크 순위로 고르기 — 공개 벤치마크 점수가 우리 업무 성능을 보장하지 않습니다. 우리 자료 20~50건으로 만든 작은 평가 세트로 비교합니다(LLM 평가).
2. 한 도구로 모든 것 — 개인 생산성은 범용 챗봇, 반복 처리는 API처럼 용도별로 나누는 편이 낫습니다.
3. 무료 · 개인 요금제 허용 — 학습 사용 · 보존 조건이 기업용과 다를 수 있습니다. 업무에는 승인된 계약만 씁니다.
4. 출구 계획 없음 — 프롬프트 · 평가 세트 · 로그를 우리 쪽에 보관해 공급사를 바꿀 수 있게 합니다.

1234567891011121314flowchart TD
  A[사용 사례] --> B{입력에 민감 정보?}
  B -->|많음 · 반출 불가| C[자체 운영 또는<br/>미보존 계약 API]
  B -->|일부 · 통제 가능| D{결과가 업무 시스템으로<br/>바로 들어가나?}
  B -->|거의 없음| E[범용 챗봇 기업용]
  D -->|예| F{운영 인력 있음?}
  D -->|아니오| G[업무 앱 내장 AI]
  F -->|예| H[API 연동 · RAG]
  F -->|아니오| G
  C --> I[보안 · 데이터 체크리스트]
  E --> I
  G --> I
  H --> I
  I --> J[작은 평가 세트로 비교 · 계약]

연습 문제

1. 영업팀 30명이 고객 미팅 메모 정리에 AI를 쓰려 합니다. 메모에는 고객 이름 · 연락처가 있고, 결과는 CRM에 넣어야 합니다. 어떤 방식이 맞고 무엇을 확인하나요?
   • 풀이: CRM 결합이 필요하므로 CRM 내장 AI 또는 API 연동이 맞습니다. 개인정보가 있으므로 처리위탁 · 국외이전 · 보존 기간 · 학습 사용 여부를 확인하고, 사람이 내용을 확인한 뒤 저장하게 합니다.
2. 좌석 월 3만 원, API 1인 월 사용량 비용 1만 원, API 고정비 월 80만 원이면 손익분기 인원은?
   • 풀이: 1인당 차이 2만 원, $80\text{만}\div2\text{만} = 40$ 명. 40명보다 많으면 API가 쌉니다.
3. "가장 성능 좋은 모델"을 고르자는 의견에 덧붙일 기준 두 가지는?
   • 풀이: 우리 자료로 만든 평가 세트 결과, 데이터 조건(학습 사용 · 보존 · 위치), 운영 역량, 비용 구조 중 둘 이상을 듭니다.

스스로 점검

1. 업무 앱 내장 AI에서 특히 확인할 위험은?
   • 답: AI가 사용자 권한 밖의 문서를 읽거나 요약에 노출하지 않는지(권한 상속)입니다.
2. 자체 구축이 항상 더 안전한가요?
   • 답: 데이터 반출은 줄지만 보안 패치 · 접근 통제 · 모니터링을 직접 책임져야 하므로 운영 역량이 없으면 오히려 위험할 수 있습니다.
3. NIST AI 600-1의 '가치 사슬' 위험이 도구 선택에 주는 의미는?
   • 답: 공급사가 쓰는 하위 모델 · 데이터 · 플러그인의 출처와 검증을 확인해야 한다는 것입니다.

용어 정리

더 깊이 보려면

• 개인정보보호위원회 공공 AX 프라이버시 보호 안내서: https://pipc.go.kr/np/cop/bbs/selectBoardArticle.do?bbsId=BS217&mCode=D010030000&nttId=12436
• NIST AI 600-1 Generative AI Profile: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

다음에 볼 것

• 데이터 준비: 문서 정리 · 권한 · 지식베이스 · RAG 연결
• RAG 파이프라인 설계

라이선스

본문은 KAITABASE 자체 해설입니다. 공식 문서 내용은 짧게 인용 · 요약했습니다. 가격 · 인원 숫자는 해설용 가정입니다.

출처

• 개인정보보호위원회, 공공 AX 프라이버시 보호 안내서 (2026-07-23): https://pipc.go.kr/np/cop/bbs/selectBoardArticle.do?bbsId=BS217&mCode=D010030000&nttId=12436
• Morgan Stanley, Morgan Stanley Wealth Management Announces Key Milestone in Innovation Journey with OpenAI (2023-03-14): https://www.morganstanley.com/press-releases/key-milestone-in-innovation-journey-with-openai
• OpenAI, Morgan Stanley uses AI evals to shape the future of financial services (날짜 표기 없음, 2026-10-22 열람): https://openai.com/index/morgan-stanley/
• NIST, AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (2024-07-26): https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf