데이터 준비: 문서 정리 · 권한 · 지식베이스 · RAG 연결

데이터 준비: 문서 정리 · 권한 · 지식베이스 · RAG 연결

사내 AI가 "우리 회사 규정"이나 "지난 프로젝트 자료"를 정확히 답하려면 모델보다 문서 가 먼저 준비되어 있어야 합니다. 이 수업은 문서 목록 만들기, 중복 · 오래된 문서 정리, 문서마다 주인과 권한 정하기, 메타데이터, 지식베이스 구조, 그리고 RAG(검색 증강 생성)에 연결하기 전 확인할 점을 다룹니다. 정리 작업량과 임베딩 비용을 손으로 계산해 보면 비용의 대부분이 사람 시간 이라는 점이 드러납니다. 숫자는 해설용 가정입니다.

들어가기 전에

• 도구 선택 — API · RAG 방식이 무엇인지
• RAG의 기술 원리는 RAG 트랙: 검색의 기초, RAG 파이프라인 설계

한눈에 보기

• RAG 품질의 상한은 문서 품질 이 정합니다.
• 문서 인벤토리 → 중복 · 폐기 → 주인 지정 → 권한 → 메타데이터 순으로 정리합니다.
• AI가 사용자 권한 밖의 문서를 답에 섞지 않도록 권한을 검색 단계에서 걸러야 합니다.
• 정리에 드는 사람 시간과 임베딩 비용을 계산해 비교합니다.

1. 왜 데이터부터인가

직관(해설용 비유). 아무리 뛰어난 사서도 책이 뒤섞이고 낡은 판본이 같은 칸에 꽂힌 도서관에서는 엉뚱한 책을 건넵니다. RAG는 "질문과 비슷한 문서를 찾아 그 내용을 근거로 답하게 하는" 방식이라, 옛 규정과 새 규정이 함께 있으면 옛 규정을 근거로 답할 수 있습니다.

사례. OpenAI의 Morgan Stanley 고객 사례 페이지에서 Morgan Stanley 측은 "7,000개 질문에 답하던 수준에서 10만 개 문서 코퍼스의 어떤 질문에도 효과적으로 답하는 수준으로 갔다"고 말하며, 이를 위해 OpenAI와 검색(retrieval) 방법을 다듬었다 고 설명합니다. 공급사 사례 글이라 수치는 자체 설명으로 읽어야 하지만, 문서 규모가 커질수록 검색 품질이 핵심 과제가 된다는 점을 보여 줍니다.

개발 조직에서. Google Cloud가 내는 DORA의 「AI Capabilities Model」(2025)은 AI의 효과를 키우는 일곱 가지 역량에 AI가 접근할 수 있는 사내 데이터(AI-accessible internal data) 와 건강한 데이터 생태계(healthy data ecosystems) 를 넣었습니다. 코드 · 문서 · 티켓이 AI가 읽을 수 있는 형태로 정리되어 있어야 효과가 난다는 뜻입니다.

2. 단계별 정리

1단계: 문서 인벤토리. 어디에 무엇이 있는지 목록을 만듭니다. 공유 드라이브, 위키, 메신저 고정 글, 메일 첨부, 티켓, 코드 저장소 README까지 포함합니다. 칸은 위치 · 제목 · 형식 · 최종 수정일 · 작성 부서 정도면 충분합니다.

2단계: 중복 · 폐기. 같은 내용의 복사본, '최종_진짜최종' 같은 판본, 대체된 옛 규정을 찾습니다. 기준 예(해설용): 최근 3년간 수정 없음 + 더 새로운 판본 존재 → 보관함으로 이동(삭제가 아니라 검색 대상에서 빼기).

3단계: 주인 지정. 문서마다 내용을 책임지는 주인(owner) 을 정합니다. 주인이 없는 문서는 틀려도 고칠 사람이 없어 RAG에 넣지 않습니다.

4단계: 권한. 문서별로 누가 볼 수 있는지 정하고, 그 권한을 RAG 검색에도 그대로 적용합니다(아래 3절).

5단계: 메타데이터. 문서 유형(규정 · 매뉴얼 · 회의록), 시행일 · 만료일, 대상 부서, 보안 등급을 붙입니다. 메타데이터는 검색 필터와 "언제 기준 답인지" 표시에 쓰입니다.

6단계: 형식 정리. 스캔 PDF는 글자 인식(OCR)이 필요하고, 표는 깨지기 쉽습니다. 중요한 문서는 제목 · 절 구조가 살아 있는 형식(문서 · 마크다운 · HTML)으로 바꿉니다. 문서를 작은 조각(청크)으로 나누는 기준은 RAG 파이프라인 설계를 참고합니다.

3. 권한: 가장 흔한 사고 지점

문제. 모든 문서를 한 벡터 데이터베이스에 넣고 누구나 질문하게 하면, 인사 평가 · 급여 · 임원 회의록 내용이 일반 직원의 답에 섞일 수 있습니다. 모델은 권한을 모릅니다.

원칙(해설).

1. 검색 단계에서 거르기 — 사용자의 권한(그룹 · 부서)을 함께 보내고, 그 권한으로 볼 수 있는 조각만 검색 결과에 남깁니다. 답을 만든 뒤 거르는 것보다 안전합니다.
2. 원본 권한 따르기 — 원본 저장소의 권한을 주기적으로 동기화합니다. 원본에서 권한을 바꿨는데 RAG 색인이 그대로면 사고가 납니다.
3. 민감 정보 빼기 · 가리기 — 개인정보보호위원회 안내서는 개발 · 구축 단계의 데이터 수준 안전조치로 "학습데이터 및 RAG 데이터 가명 · 익명처리 등 데이터 전처리"를 예로 들고, 시스템 수준에서는 "개인정보 입 · 출력 필터링, AI 최소권한 부여"를 듭니다.
4. 출처 표시 — 답마다 근거 문서 링크와 기준일을 보여 주면 사용자가 직접 확인할 수 있습니다.

4. 지식베이스 구조

왜 층을 나누나. "규정이 뭐냐"는 질문에 회의록 속 의견이 근거로 나오면 곤란합니다. 층을 메타데이터로 붙여 질문 유형에 따라 우선순위를 다르게 줍니다.

5. 숫자로 해 보기: 정리 비용 vs 임베딩 비용(해설용)

가정: 문서 12,000개. 중복 25%를 걸러 내고, 남은 문서 중 20%는 폐기 대상. 문서당 평균 1,500토큰. 임베딩(문서를 벡터로 바꾸는 작업) 단가를 100만 토큰당 0.02달러로 가정. 사람이 남은 문서 한 개의 주인 · 메타데이터를 확인하는 데 3분.

시간당 4만 원이면 사람 확인 비용은 1,440만 원입니다. 이 가정에서는 임베딩 비용은 거의 0이고, 비용은 사람의 정리 시간 입니다. 그래서 전부를 한꺼번에 정리하기보다, 질문이 많이 나오는 상위 문서(예: 인사 · 복리후생 · 보안 규정)부터 정리하는 편이 효율적입니다.

6. RAG에 연결하기 전 점검표

평가 세트로 검색 품질을 재는 법은 RAG 평가와 고급 패턴과 직접 해 보기: 작은 RAG 만들기를 보세요.

1234567891011flowchart LR
  A[문서 인벤토리] --> B[중복 · 폐기 판본 제외]
  B --> C[주인 지정]
  C --> D[권한 · 보안 등급]
  D --> E[메타데이터<br/>유형 · 시행일 · 부서]
  E --> F[민감 정보 가림]
  F --> G[청킹 · 임베딩 · 색인]
  G --> H[권한 필터 검색]
  H --> I[답 + 근거 링크 · 기준일]
  I --> J[틀린 답 신고 → 문서 주인]
  J --> C

연습 문제

1. 문서 20,000개, 중복 30%, 남은 것 중 폐기 25%, 문서당 확인 2분이면 사람 확인 시간은?
   • 풀이: $20{,}000\times0.7 = 14{,}000$, $\times0.75 = 10{,}500$ 개, $10{,}500\times2\div60 = 350$ 시간입니다.
2. 사내 Q&A 봇이 2년 전 폐지된 출장비 규정을 근거로 답했습니다. 어느 단계가 빠졌나요?
   • 풀이: 폐기 판본 제외와 시행일 · 만료일 메타데이터입니다. 또 답에 기준일을 표시했다면 사용자가 알아챌 수 있었습니다.
3. 권한 필터를 "답을 만든 뒤 걸러 내기"로 구현하면 어떤 문제가 있나요?
   • 풀이: 모델이 이미 민감 문서 내용을 읽고 답에 섞을 수 있어 필터가 놓치면 그대로 노출됩니다. 검색 단계에서 권한 밖 조각을 아예 빼는 것이 안전합니다.

스스로 점검

1. RAG 도입 비용에서 가장 큰 항목은 보통 무엇인가요?
   • 답: 임베딩 같은 계산 비용보다 문서 정리 · 주인 지정 · 권한 설계에 드는 사람 시간인 경우가 많습니다(해설용 계산 기준).
2. 문서 주인이 왜 필요한가요?
   • 답: 틀린 답이 나왔을 때 원인 문서를 고칠 책임자가 있어야 품질이 유지되기 때문입니다.
3. DORA AI Capabilities Model에서 데이터와 관련된 두 역량은?
   • 답: AI가 접근할 수 있는 사내 데이터, 건강한 데이터 생태계입니다.

용어 정리

더 깊이 보려면

• DORA AI Capabilities Model: dora.dev/ai
• OpenAI 고객 사례(Morgan Stanley): openai.com/index/morgan-stanley

다음에 볼 것

• 프로세스 재설계와 사람 검토 루프
• RAG 평가와 고급 패턴

라이선스

본문은 KAITABASE 자체 해설입니다. 사례 · 공식 문서는 짧게 인용 · 요약했습니다. 문서 수 · 단가 · 시간은 해설용 가정입니다.

출처

• OpenAI, Morgan Stanley uses AI evals to shape the future of financial services (날짜 표기 없음, 2026-10-22 열람): openai.com/index/morgan-stanley
• DORA, AI Capabilities Model (보고서 페이지 2025-11-25 갱신): dora.dev/ai
• 개인정보보호위원회, 공공 AX 프라이버시 보호 안내서 (2026-07-23): pipc.go.kr/np/cop/bbs/selectBoardArticle.…