프로세스 재설계와 사람 검토 루프(HITL): 자동화 · 에이전트 도입 단계

프로세스 재설계와 사람 검토 루프(HITL): 자동화 · 에이전트 도입 단계

AI를 기존 업무 순서에 끼워 넣기만 하면 효과가 작고, 반대로 검토 없이 끝까지 맡기면 사고가 납니다. 이 수업은 현재 흐름(As-Is)을 그리고 AI를 전제로 다시 그리는(To-Be) 방법, 사람이 어디서 확인할지 정하는 사람 검토 루프(Human-in-the-Loop, HITL) 의 네 가지 패턴, 확신도 기준을 바꿨을 때 사람 작업량과 놓치는 오류가 어떻게 바뀌는지 계산하는 법, 그리고 에이전트 · 자동화를 단계적으로 들이는 자율성 단계를 다룹니다. 단계 모델과 숫자는 해설용입니다.

들어가기 전에

• 데이터 준비 — 근거 문서와 권한
• 에이전트의 기술 구조: 에이전트 설계: 루프 · 워크플로 · 메모리 · MCP, 직접 해 보기: 도구를 부르는 에이전트 루프

한눈에 보기

• 재설계는 "AI 단계 추가"가 아니라 순서 · 역할 · 검토 지점 을 바꾸는 일입니다.
• 사람 검토는 승인형 · 예외형 · 표본형 · 사후 감사형 네 패턴으로 나눠 고릅니다.
• 확신도 기준을 올리면 사람 작업은 늘고 놓치는 오류는 줄어드는 교환 관계 를 계산합니다.
• 에이전트는 읽기 → 제안 → 승인 후 실행 → 제한된 자율 순으로 권한을 넓힙니다.

1. 끼워 넣기와 재설계

직관(해설용 비유). 마차 길에 자동차를 들였다고 길이 고속도로가 되지는 않습니다. 신호 · 차선 · 속도 규칙이 바뀌어야 빨라집니다. McKinsey 2026 조사도 AI 고성과 조직의 특징으로 기존 업무에 AI를 끼워 넣기보다 AI가 가능하게 하는 업무 흐름을 근본적으로 재설계 한다는 점을 듭니다(설문 기반이라 인과는 아님).

예: 고객 문의 처리(해설용).

To-Be에서는 상담원의 일이 작성 → 검토 · 판단 으로 바뀝니다. 그래서 역할 정의 · 평가 기준 · 교육도 함께 바꿔야 합니다(변화 관리와 교육).

연구가 보여 주는 것. Brynjolfsson 외(고객지원 상담원 5,172명 데이터, arXiv v2 2024-11-06)는 생성형 AI 대화 보조 도구가 시간당 해결 건수로 잰 생산성을 평균 15% 높였고, 경험이 적고 숙련도가 낮은 상담원은 속도와 품질이 모두 좋아졌지만 가장 숙련된 상담원은 속도가 조금 늘고 품질은 조금 떨어졌다 고 보고했습니다. 같은 도구도 누가 쓰느냐에 따라 효과가 다르므로, 검토 규칙도 숙련도에 따라 다르게 둘 수 있습니다.

2. 사람 검토 루프 네 가지 패턴

실제 예. OpenAI의 Morgan Stanley 사례 페이지는 회의 요약 도구(Debrief)에 대해 "상담사가 AI가 만든 결과를 확정 전에 검토 · 수정한다"고 설명합니다(승인형). Klarna 보도자료(2024-02-27)는 AI 상담 도입을 알리면서 "고객은 원하면 여전히 사람 상담원과 대화할 수 있다"고 밝혔습니다(사람 경로 유지).

표본형은 오류를 '고치는' 것이 아니라 '재는' 것 이라는 점을 기억합니다. 아래 계산에서 확인합니다.

3. 숫자로 해 보기: 확신도 기준의 교환 관계(해설용)

가정: 하루 문의 1,000건, 사람이 직접 처리하면 건당 4분, 표본 검사는 건당 1분, 자동 처리 건 중 5%를 표본 검사.

모두 사람이 처리하면 $1{,}000\times4\div60 \approx 66.7$ 시간입니다.

읽는 법.

• 기준 A는 사람 시간을 69% 줄이지만 하루 13건 정도의 오류가 고객에게 나갑니다. 기준 B는 절감이 49%로 줄지만 놓치는 오류가 약 2.4건입니다.
• 표본 검사로 잡는 오류는 1건도 안 됩니다. 표본은 오류율이 변하는지 감시 하는 장치이고, 오류를 막으려면 확신도 기준 · 예외 규칙(환불 · 불만은 무조건 사람)을 써야 합니다.
• 어느 기준이 맞는지는 오류 1건의 비용 이 정합니다. 오류가 고객 이탈 · 법적 문제로 이어지면 B, 내부 분류 수준이면 A도 가능합니다.

4. 에이전트 · 자동화 도입 단계(해설용)

에이전트는 도구를 호출해 여러 단계를 스스로 실행하는 AI입니다. 권한을 한 번에 주지 않고 단계적으로 넓힙니다.

왜 단계를 밟나. OWASP의 LLM 애플리케이션 10대 위험(2025)은 과도한 행위 권한(Excessive Agency, LLM06) 을 독립 항목으로 둡니다. 에이전트에게 필요한 것보다 넓은 권한을 주면, 프롬프트 인젝션(LLM01)으로 조작되었을 때 피해가 그 권한만큼 커집니다. 개인정보보호위원회 안내서도 AI 챗봇이 계정 정보 조회 · 변경 같은 확대된 권한을 혼자 수행하지 않게 제한하고 중요한 처리는 사람의 확인 절차를 유지 하라고 안내합니다. 보안 설계는 보안 · 개인정보 실무에서 다룹니다.

개발 업무 예. 코딩 에이전트도 같습니다. 1단계 코드 읽기 · 설명 → 2단계 변경 제안(PR 초안) → 3단계 사람 리뷰 후 병합 → 4단계 의존성 업데이트처럼 범위가 좁고 테스트로 검증되는 작업만 자동 병합.

5. 실패 모드

1. 검토 피로 — 승인형인데 AI가 대부분 맞으면 사람이 확인 없이 승인만 누르게 됩니다(자동화 편향). 표본 감사로 승인 품질도 재고, 일부러 틀린 예를 섞어 점검하는 방법을 씁니다.
2. 책임 공백 — "AI가 그렇게 했다"는 설명은 통하지 않습니다. 단계마다 결과 책임자를 정합니다.
3. 되돌리기 없음 — 실행형 에이전트는 실행 기록과 되돌리는 방법이 있어야 합니다.
4. 예외 경로 없음 — 고객 · 사용자가 사람에게 넘어갈 길을 남겨 둡니다.

123456789101112131415flowchart TD
  A[입력 · 요청] --> B[AI 처리<br/>결과 + 확신도]
  B --> C{고위험 유형?<br/>환불 · 불만 · 법무}
  C -->|예| H[사람 처리]
  C -->|아니오| D{확신도 ≥ 기준?}
  D -->|아니오| H
  D -->|예| E{대외 발송?}
  E -->|예| F[사람 승인 후 발송]
  E -->|아니오| G[자동 반영]
  G --> I[표본 검사 · 오류율 추적]
  F --> J[로그 · 감사]
  H --> J
  I --> K{오류율 상승?}
  K -->|예| L[기준 상향 · 원인 분석]
  K -->|아니오| J

연습 문제

1. 하루 2,000건, 자동 처리 60%, 자동 처리 오류율 1%, 표본 10%면 하루 놓치는 오류는(기댓값)?
   • 풀이: 자동 1,200건, 오류 12건, 표본에서 잡는 오류 $12\times0.1 = 1.2$ 건, 놓치는 오류 10.8건입니다.
2. 위 조건에서 사람이 직접 처리하는 건이 건당 3분, 표본 검사가 건당 1분이면 사람 시간은?
   • 풀이: $(800\times3 + 120\times1)\div60 = (2{,}400+120)\div60 = 42$ 시간입니다.
3. 회계팀이 송금 처리 에이전트를 도입하려 합니다. 첫 단계로 적절한 권한은?
   • 풀이: 읽기 전용 또는 제안 단계입니다. 송금은 금전 위험이 크므로 최소한 '승인 후 실행'에 머무르고, 금액 · 대상 한도와 이중 승인을 둡니다.

스스로 점검

1. 표본 검사만으로 오류를 막을 수 있나요?
   • 답: 아닙니다. 표본은 오류율을 재는 장치이고, 막으려면 확신도 기준 · 고위험 예외 규칙 · 승인형 검토가 필요합니다.
2. 같은 AI 보조 도구가 숙련자와 초보자에게 다르게 작용한다는 연구 결과가 검토 설계에 주는 의미는?
   • 답: 초보자에게는 큰 도움이 되지만 숙련자의 품질은 오히려 조금 떨어질 수 있으므로, 숙련도별로 쓰임과 검토 규칙을 다르게 둘 수 있다는 것입니다.
3. 에이전트 권한을 단계적으로 넓히는 이유는?
   • 답: 과도한 권한은 조작 · 오작동 때 피해를 키우므로(OWASP LLM06), 각 단계에서 정확도 · 사고 기록을 확인한 뒤 넓히기 위해서입니다.

용어 정리

더 깊이 보려면

• Brynjolfsson 외, Generative AI at Work: arxiv.org/abs/2304.11771
• OWASP Top 10 for LLM Applications 2025: genai.owasp.org/llm-top-10

다음에 볼 것

• 거버넌스와 정책
• 에이전트 설계

라이선스

본문은 KAITABASE 자체 해설입니다. 연구 · 사례 내용은 원문을 짧게 인용 · 요약했습니다. 단계 모델 · 숫자는 해설용입니다.

출처

• Brynjolfsson, E., Li, D., Raymond, L., Generative AI at Work, arXiv:2304.11771 (v2 2024-11-06): arxiv.org/abs/2304.11771
• OpenAI, Morgan Stanley uses AI evals to shape the future of financial services (날짜 표기 없음, 2026-10-22 열람): openai.com/index/morgan-stanley
• Klarna, Klarna AI assistant handles two-thirds of customer service chats in its first month (2024-02-27): klarna.com/international/press/klarna-ai-…
• OWASP GenAI Security Project, Top 10 for LLM Applications 2025: genai.owasp.org/llm-top-10
• 개인정보보호위원회, 공공 AX 프라이버시 보호 안내서 (2026-07-23): pipc.go.kr/np/cop/bbs/selectBoardArticle.…
• McKinsey, The state of AI in 2026 (2026-08-25): mckinsey.com/capabilities/quantumblack/ou…