대형 언어 모델을 위한 RAG 총정리 (서베이)

대형 언어 모델을 위한 RAG 총정리 (서베이)

100편이 넘는 RAG 연구를 Naive RAG → Advanced RAG → Modular RAG 세 단계 패러다임으로 정리하고, 핵심 구성 요소인 검색(Retrieval) · 생성(Generation) · 증강(Augmentation) 의 기법과 평가 방법(26개 과제, 약 50개 데이터셋)을 한데 모은 서베이 논문입니다. RAG를 처음 설계하거나 고도화할 때 '무엇을 손볼 수 있는지' 지도처럼 쓰기 좋습니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 검색 증강 생성 (RAG) — 검색기(DPR)와 생성기(BART)를 함께 미세조정해 문서를 보고 답을 생성하는 RAG의 원조 논문
• Self-RAG: 검색 · 생성 · 자기 비평을 함께 학습 — 검색 필요 · 관련성 · 근거 · 유용성을 반성 토큰으로 스스로 판단하며 생성하는 RAG

한눈에 보기

• RAG가 해결하려는 LLM의 세 가지 약점(환각 · 낡은 지식 · 근거 추적 불가)과, RAG의 기본 3단계(색인 · 검색 · 생성)를 정리합니다.
• Naive / Advanced / Modular RAG 가 각각 무엇을 바꿨는지, 실무 파이프라인의 어느 단계에 해당하는지 알게 됩니다.
• 청크 크기 · 메타데이터 · 질의 재작성 · 하이브리드 검색 · 재순위 · 문맥 압축 같은 개선 기법을 '어디에 끼우는 부품인지' 기준으로 분류해 봅니다.
• RAG를 평가할 때 무엇을(검색 품질 · 생성 품질) 어떤 능력 기준으로 재는지 압니다.

초록 (번역)

대형 언어 모델(LLM)은 인상적인 능력을 보이지만 환각, 낡은 지식, 투명하지 않고 추적할 수 없는 추론 과정 같은 문제를 안고 있습니다. 검색 증강 생성(RAG)은 외부 데이터베이스의 지식을 끌어들여 이를 해결하는 유망한 방법으로 떠올랐습니다. RAG는 특히 지식 집약적 과제에서 생성의 정확성과 신뢰성을 높이고, 지식을 계속 갱신하고 분야별 정보를 통합할 수 있게 합니다. RAG는 LLM이 본래 가진 지식과 외부 데이터베이스의 방대하고 역동적인 저장소를 상승작용하듯 결합합니다. 이 종합 리뷰 논문은 Naive RAG, Advanced RAG, Modular RAG에 이르는 RAG 패러다임의 발전을 자세히 살핍니다. 또한 RAG 프레임워크의 세 가지 토대인 검색 · 생성 · 증강 기법을 꼼꼼히 들여다봅니다. 이 핵심 구성 요소 각각에 들어간 최신 기술을 조명해 RAG 시스템의 발전을 깊이 이해하도록 돕습니다. 나아가 최신 평가 프레임워크와 벤치마크를 소개합니다. 끝으로 현재 직면한 과제를 설명하고 앞으로의 연구 · 개발 방향을 제시합니다.

무엇을 풀었나

RAG 연구는 ChatGPT 등장 이후 폭발적으로 늘었지만, 전체 흐름을 체계적으로 정리한 글은 부족했습니다. 논문은 RAG 발전을 크게 세 시기로 봅니다.

1. 사전학습 시기: 트랜스포머 등장과 함께, 사전학습 모델에 추가 지식을 넣는 연구(REALM, RETRO 등)
2. 추론 시기: ChatGPT 이후 LLM의 문맥 내 학습(ICL) 능력을 활용해, 추론 시점에 더 좋은 정보를 넣어 주는 연구가 급증
3. 미세조정과의 결합: 추론 단계를 넘어 검색기 · 생성기 미세조정과 RAG를 결합하는 연구

또 연구가 '방법' 위주이고 RAG를 어떻게 평가할지 에 대한 정리가 부족하다는 점도 지적합니다. 이 서베이는 ① 세 가지 패러다임 정리, ② 검색 · 생성 · 증강의 핵심 기술 분석, ③ 평가 과제 · 데이터셋 · 지표 · 도구 정리, ④ 앞으로의 과제 제시를 목표로 합니다.

핵심 아이디어

12345678910111213flowchart LR
  subgraph 색인
    A[원본 PDF · HTML · Word] --> B[정제 · 텍스트 변환]
    B --> C[청크 나누기 + 메타데이터]
    C --> D[(임베딩 · 벡터 DB)]
  end
  Q[질문] --> PRE[검색 전: 질의 재작성 · 확장 · 라우팅]
  PRE --> R[검색: 희소 + 밀집 하이브리드]
  D --> R
  R --> POST[검색 후: 재순위 · 문맥 압축 · 선별]
  POST --> G[LLM 생성]
  G --> Y[답 + 근거]
  G -.->|반복 · 재귀 · 적응적 검색| PRE

1. Naive RAG: 색인 → 검색 → 생성

직관. 오픈북 시험에서 책을 일정 쪽수씩 잘라 색인 카드를 만들고(색인), 문제와 비슷한 카드 몇 장을 꺼내(검색), 그걸 보며 답을 쓰는(생성) 가장 기본적인 방법입니다. '검색 후 읽기(Retrieve-Read)'라고도 부릅니다.

단계별 설명.

1. 색인: PDF · HTML · Word · 마크다운 등을 정제해 일반 텍스트로 바꾸고, 언어 모델 문맥 한도에 맞게 청크로 나눈 뒤, 임베딩 모델로 벡터화해 벡터 DB에 저장합니다.
2. 검색: 질문을 같은 임베딩 모델로 벡터화하고, 청크 벡터들과 유사도를 계산해 상위 $K$개를 가져옵니다.
3. 생성: 질문과 청크를 하나의 프롬프트로 합쳐 LLM이 답하게 합니다. 대화라면 이전 대화 기록도 넣습니다.

수식 (설명용 정리). 기본 RAG는 '관련 청크를 고르고, 그 청크와 질문으로 답을 만든다'로 쓸 수 있습니다.

논문이 꼽은 Naive RAG의 문제.

• 검색: 정밀도 · 재현율이 낮아 엉뚱한 청크를 가져오거나 중요한 정보를 놓칩니다.
• 생성: 검색 문맥에 근거하지 않은 내용(환각), 무관하거나 편향된 출력이 나올 수 있습니다.
• 증강: 검색 정보를 과제에 녹이기 어렵고, 비슷한 정보가 중복되거나, 문체가 어긋나며, 복잡한 질문은 한 번 검색으로 부족합니다. 또 검색 내용을 그대로 되풀이하기만 할 위험도 있습니다.

2. Advanced RAG: 검색 전 · 후를 다듬는다

직관. 기본 방식은 그대로 두고, ① 카드를 만들 때와 질문을 던지기 전(검색 전), ② 카드를 꺼낸 뒤(검색 후)에 손질을 더하는 것입니다.

검색 전(pre-retrieval).

• 색인 개선: 데이터 세분화 수준 조정, 색인 구조 최적화, 메타데이터 추가, 정렬(alignment) 최적화, 혼합 검색
• 질의 최적화: 질문을 검색에 더 알맞게 고칩니다. 질의 재작성, 질의 변환, 질의 확장 등

검색 후(post-retrieval).

• 재순위(rerank): 가장 관련 있는 내용을 프롬프트의 가장자리(앞 · 끝) 로 옮기는 것이 핵심 전략이라고 정리합니다. LlamaIndex · LangChain · HayStack 같은 프레임워크에 구현돼 있습니다.
• 문맥 압축: 관련 문서를 전부 넣으면 정보 과부하로 핵심이 흐려지므로, 필수 정보만 골라 짧게 만듭니다.

숫자로 해 보기 (설명용 예시). 검색 결과 5개의 재순위 점수가 (0.4, 0.9, 0.2, 0.7, 0.5)라면, 재순위 후 순서는 2 → 4 → 5 → 1 → 3이 됩니다. '가장자리 배치' 원칙을 따르면 가장 높은 2번은 맨 앞, 두 번째 4번은 맨 끝에 두고, 점수가 가장 낮은 3번은 빼거나 가운데에 둡니다. ('중간에서 길을 잃다' 현상을 피하기 위한 배치입니다.)

3. Modular RAG: 부품을 갈아 끼우고 순서를 바꾼다

직관. 고정된 조립 라인 대신, 레고 블록처럼 기능 모듈을 붙였다 뗐다 하고 순서도 바꿀 수 있게 만든 RAG입니다.

새 모듈 (예).

• 검색(Search) 모듈: 검색 엔진 · DB · 지식 그래프를 LLM이 만든 코드 · 질의 언어로 직접 검색
• RAG-Fusion: 질문을 여러 관점의 질의로 늘려 병렬 검색 후 재순위
• 메모리 모듈: LLM의 기억을 검색에 활용
• 라우팅: 질문마다 요약 · 특정 DB 검색 · 여러 정보 합치기 중 알맞은 경로 선택
• 예측(Predict) 모듈: 검색 대신 LLM이 문맥을 직접 생성
• 과제 어댑터: 과제마다 프롬프트 검색 · 과제별 검색기를 자동으로 마련

새 패턴 (예). 질문을 다시 쓰고 검색하는 Rewrite-Retrieve-Read, 검색 대신 생성하는 Generate-Read, 모델 가중치에서 '암송'하는 Recite-Read, 키워드 · 의미 · 벡터 검색을 섞는 하이브리드, 하위 질문 · HyDE, 검색과 생성을 번갈아 하는 ITER-RETGEN, 검색 필요성을 판단하는 FLARE · Self-RAG 같은 적응적 흐름.

왜 이렇게 나눴나. 논문은 Advanced · Modular RAG가 모두 Naive RAG의 한계에 대한 대응이며, Modular RAG도 앞 두 패러다임의 원리 위에 있다고 봅니다. 즉 세 패러다임은 대체 관계가 아니라 발전 단계 입니다.

4. 검색 부품 자세히: 청크 · 메타데이터 · 구조 색인 · 임베딩

청크 전략. 고정 토큰 수(예: 100 · 256 · 512)로 자르는 것이 가장 흔합니다. 큰 청크는 문맥이 많지만 잡음과 비용이 크고, 작은 청크는 잡음이 적지만 문맥이 부족합니다. 문장 단위로 검색하고 앞뒤 문장을 함께 넘기는 Small2Big 같은 절충안도 소개합니다.

숫자로 해 보기 (설명용). 3,000토큰 문서를 512토큰 청크로 자르면 6개(마지막은 440토큰), 100토큰 청크로 자르면 30개입니다. 질문 하나에 상위 5개를 넣는다면 512토큰 청크는 2,560토큰, 100토큰 청크는 500토큰을 씁니다. 같은 '5개'라도 문맥 양과 잡음이 5배 넘게 차이 납니다.

메타데이터. 페이지 번호 · 파일명 · 작성자 · 범주 · 타임스탬프를 붙여 검색을 걸러 내고, 타임스탬프에 가중치를 주면 최신성을 반영한 RAG가 됩니다. 문서마다 LLM으로 '이 문서가 답할 수 있는 가상 질문'을 만들어 두고 질문끼리 비교하는 방법(Reverse HyDE)도 있습니다.

구조 색인. 부모-자식 관계의 계층 색인(노드마다 요약 저장)이나 지식 그래프 색인을 쓰면 관련 청크를 빨리 찾고 연결 관계를 유지할 수 있습니다.

질의 최적화. 하위 질문으로 쪼개기(least-to-most), 질의 재작성(타오바오의 BEQUE 사례), 가상 문서로 바꾸기(HyDE), 더 추상적인 질문을 함께 쓰는 Step-back 프롬프팅, 메타데이터 · 의미 기반 라우팅.

임베딩. 희소(BM25)와 밀집(BERT 계열) 검색은 서로 다른 관련성 신호를 잡으므로 섞어 쓰면 보완됩니다. 특히 희소 검색은 드문 개체 이름이 든 질문에서 밀집 검색을 돕습니다. 전문 분야(의료 · 법률 등)에서는 자기 데이터로 임베딩 모델을 미세조정하는 것이 중요하다고 정리합니다. 어떤 임베딩 모델이 최선인지에 대한 하나의 정답은 없다고 덧붙입니다.

수식 (하이브리드 점수, 설명용). 여러 시스템이 쓰는 단순한 선형 결합으로 예를 들면 다음과 같습니다(서베이에 이 식이 있는 것은 아니고, 개념 설명용입니다).

숫자로 해 보기. $\alpha = 0.3$, 문서 A의 (희소, 밀집) = (0.9, 0.5), 문서 B = (0.2, 0.8)이면 A는 $0.27 + 0.35 = 0.62$, B는 $0.06 + 0.56 = 0.62$로 같아집니다. $\alpha$를 0.5로 올리면 A 0.70, B 0.50으로 키워드가 맞는 A가 앞섭니다.

5. 생성 부품: 재순위 · 압축 · LLM 미세조정

• 문맥 선별: 검색 결과를 다 넣는 것은 좋은 습관이 아니라고 강조합니다. 중복 정보와 지나치게 긴 문맥은 '중간에서 길을 잃는' 문제를 부릅니다. 재순위(규칙 기반 또는 재순위 모델 · LLM), 중요하지 않은 토큰을 지우는 프롬프트 압축(LLMLingua 등), 정보 추출기 학습(PRCA · RECOMP), LLM이 검색 내용을 먼저 평가해 걸러 내기 등을 소개합니다.
• LLM 미세조정: 분야 데이터가 부족할 때 지식을 보충하거나, 입출력 형식 · 문체를 맞추거나, 강화학습 · 증류로 선호에 맞추고, 검색기와 생성기의 점수를 KL 발산으로 정렬(RA-DIT)하는 방법 등이 있습니다.

6. 증강 과정: 한 번 검색을 넘어

7. RAG vs 미세조정 vs 프롬프트 엔지니어링

논문은 '외부 지식이 얼마나 필요한가'와 '모델을 얼마나 고쳐야 하는가' 두 축으로 비교합니다.

• 프롬프트 엔지니어링: 둘 다 적게 필요. 모델 본래 능력을 활용
• RAG: 맞춤 교과서를 쥐여 주는 것. 정확한 정보 검색이 중요하고 지식이 자주 바뀔 때. 실시간 갱신 · 해석 가능성이 장점, 지연 시간과 데이터 윤리 문제가 단점
• 미세조정: 학생이 지식을 체화하는 것. 특정 구조 · 문체 · 형식 재현이 필요할 때. 갱신하려면 재학습 필요

인용한 연구에 따르면 지식 집약 과제에서 비지도 미세조정보다 RAG가 일관되게 나았고, LLM은 비지도 미세조정으로 새 사실을 배우기 어려워했습니다. 두 방법은 서로 배타적이지 않고 함께 쓸 때 최적일 수 있다고 정리합니다.

결과

서베이 논문이라 자체 실험 수치는 없고, 정리 결과를 다음과 같이 제시합니다.

평가 대상과 능력

• 평가 대상: 검색 품질(맥락 관련성)과 생성 품질(답의 충실도 · 관련성 · 무해성 · 정확성)
• 품질 점수: 맥락 관련성(context relevance), 답 충실도(answer faithfulness), 답 관련성(answer relevance)
• 필요 능력 4가지: 잡음 견고성(noise robustness), 거절 능력(negative rejection: 답이 없으면 모른다고 하기), 정보 통합(information integration), 반사실 견고성(counterfactual robustness: 틀린 문서에 흔들리지 않기)
• 맥락 관련성 · 잡음 견고성은 검색 품질, 나머지는 생성 품질 평가에 중요하다고 분류합니다.

과제 · 지표 · 도구

• 26개 과제, 약 50개 데이터셋을 정리했습니다. 핵심 과제는 여전히 질의응답(단일 · 다단계 · 객관식 · 분야별 · 긴 답)이고, 정보 추출 · 대화 · 코드 검색 등으로 넓어지고 있습니다.
• 과제별 전통 지표(EM · F1 · 정확도 · BLEU · ROUGE)를 많이 쓰지만, RAG 고유 특성을 재는 표준은 아직 성숙하지 않았다고 지적합니다.
• 벤치마크 RGB · RECALL · CRUD, LLM으로 품질을 채점하는 자동 도구 RAGAS · ARES · TruLens를 소개합니다.
• 임베딩 모델 비교에는 Hugging Face MTEB 리더보드(8개 과제 · 58개 데이터셋), 중국어용 C-MTEB(6개 과제 · 35개 데이터셋)를 언급합니다.

왜 중요한가 · 이후 영향

• RAG 실무자의 공용 어휘 를 만들었습니다. 'Naive / Advanced / Modular RAG', '검색 전 · 후 처리' 같은 구분은 이후 많은 글과 도구 문서에서 그대로 쓰입니다.
• 개선 지점을 체크리스트로 볼 수 있게 했습니다. 성능이 안 나올 때 청크 → 메타데이터 → 질의 → 임베딩 → 재순위 → 압축 → 생성기 순으로 어디를 손볼지 점검하는 틀이 됩니다.
• 긴 문맥 시대에도 RAG가 필요한 이유 를 정리했습니다. 20만 토큰 넘는 문맥을 다루는 LLM이 나와도, 한꺼번에 많이 넣으면 추론 속도가 크게 느려지고, RAG는 원본 근거를 빠르게 찾아 검증할 수 있게 해 준다는 점입니다. 반대로 긴 문맥은 많은 자료를 읽어야 하는 요약형 질문을 RAG가 다룰 새 기회도 준다고 봅니다.

한계 · 주의할 점

• '진행 중인 작업(Ongoing Work)' 으로 표시된 서베이입니다(arXiv v5 기준 2024년 3월). 이후 나온 GraphRAG 실무화, 에이전트형 RAG 등은 충분히 담기지 않았습니다.
• 기법 소개 위주 라 어떤 기법이 어떤 조건에서 얼마나 나은지 직접 비교한 수치는 거의 없습니다. 각 기법은 원 논문을 확인해야 합니다.
• 인용된 한 연구에서는 관련 없는 문서를 넣었더니 정확도가 30% 넘게 오른 의외의 결과도 소개합니다. 즉 '관련 문서만 넣으면 좋다'는 직관이 늘 맞지는 않으며, 검색과 생성의 결합 방식에 대한 연구가 더 필요하다는 뜻입니다.
• 반구조화 데이터(표가 섞인 PDF)는 청크 나누기에서 표가 잘리고 유사도 검색이 어려워지는 문제가 있어 아직 좋은 해법이 없다 고 정리합니다. 회사 문서 RAG에서 자주 부딪히는 지점입니다.

스스로 점검

1. Advanced RAG의 '검색 전'과 '검색 후' 처리를 하나씩 예로 들면?

   검색 전은 질의 재작성 · 확장, 메타데이터 추가 같은 색인 개선입니다. 검색 후는 재순위와 문맥 압축입니다.

2. 청크를 크게 자르면 생기는 장단점은?

   문맥을 더 많이 담을 수 있지만 잡음이 늘고 처리 시간과 비용이 커집니다. 작게 자르면 잡음은 적지만 필요한 맥락이 빠질 수 있습니다.

3. RAG 평가의 '필요 능력' 네 가지 중, 답이 없는 질문에 "모른다"고 하는 능력은?

   거절 능력(negative rejection)입니다. 나머지는 잡음 견고성, 정보 통합, 반사실 견고성입니다.

용어 정리

이어서 읽을 것

• 기초: 검색 증강 생성 (RAG) · 밀집 문단 검색 (DPR) · Sentence-BERT
• 고급 기법: HyDE · Self-RAG · 교정 검색 증강 생성 (CRAG) · RAPTOR · GraphRAG
• 주의점: 중간에서 길을 잃다

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 중간 점검: RAG · 검색 — RAG · 검색 트랙 전체를 문제로 점검
• 강화학습 입문 (Sutton · Barto, 2판) — 슬롯머신 · MDP · 벨만 방정식 · 가치 반복을 3칸 격자 손계산으로 배우는 강화학습 첫 수업
• 생성형 에이전트: 사람 행동을 흉내 내는 시뮬레이션 — 기억·반성·계획을 붙인 LLM 에이전트 25명이 가상 마을에서 사람처럼 사는 시뮬레이션

출처

• 원문: arxiv.org/abs/2312.10997 (2023 · Yunfan Gao 외)