블로그 목록으로 왜 기본적인 RAG(검색 증강 생성)만으로는 부족한가?
기본적인 RAG(Retrieval-Augmented Generation) 시스템은 간단한 사실 조회에는 매우 효과적입니다. 하지만 재무 보고서(SEC 10-K, 10-Q), 연구 논문, 제품 매뉴얼처럼 표와 텍스트가 복잡하게 혼합된 문서나 여러 단계의 추론이 필요한 질문 앞에서는 종종 한계를 드러냅니다. 예를 들어, “지난 분기에 갱신한 기업 고객 중 SSO 관련 지원 티켓을 연 고객은 누구인가?”와 같은 질문은 단일 정보 조각 검색만으로는 답변하기 어렵습니다.
이러한 한계는 다음과 같은 핵심 질문으로 이어집니다. “어떻게 하면 RAG 시스템이 문서의 구조를 더 잘 이해하고, 복잡한 질문에 대해 더 정확하고 신뢰할 수 있는 답변을 생성하게 할 수 있을까?”
이 질문에 대한 해답으로 ‘Agentic RAG’라는 고급 접근 방식이 주목받고 있습니다. 이 방식은 정적인 데이터 검색을 넘어, LLM 에이전트가 동적으로 추론하고 증거를 수집하는 과정을 통해 기존 RAG의 한계를 극복하는 열쇠를 제공합니다. 흔히 ‘Agentic Chunking’이라는 용어가 새로운 문서 분할 기법으로 오해되기도 하지만, 이는 사실상 정적인 청킹을 뛰어넘어 LLM 에이전트가 동적으로 추론하고 증거를 수집하는 ‘Agentic RAG’ 프로세스 그 자체를 의미합니다.
기존 RAG 파이프라인의 명확한 한계
일반적인 RAG 파이프라인은 문서 수집(Ingest), 인덱싱(Index), 검색(Retrieve), 생성(Generate)의 4단계로 구성됩니다. 이 구조는 단순하지만, 실제 운영 환경에서는 여러 가지 문제에 부딪히게 됩니다.
기본적인 RAG 시스템이 실패하는 일반적인 원인은 다음과 같습니다.
- 단순한 청킹(Naive Chunking)
문서를 고정된 크기나 간단한 규칙으로 분할하는 방식은 표나 목록과 같은 의미 있는 구조를 파괴하여 중요한 컨텍스트를 손실시킵니다. 예를 들어, 잘 구성된 표가 중간에 잘려나가면 그 안의 데이터는 가치를 잃게 됩니다. - 벡터 검색의 한계
의미적 유사성에만 의존하는 벡터 검색은 ‘SKU-123’과 같은 고유 식별자나 ‘SSO’ 같은 희귀한 약어를 놓치기 쉽습니다. 이러한 용어는 문서 내 발생 빈도가 낮아 임베딩 공간에서 의미를 제대로 포착하기 어렵기 때문입니다. - 재순위화(Reranking)의 부재
초기 검색 결과는 단순히 쿼리와의 의미적 유사도(Cosine Similarity)에 따라 순위가 매겨집니다. 이로 인해 쿼리에 대한 실제 유용성이나 관련성이 높은 정보 조각이 후순위로 밀려날 수 있습니다. - 제한된 컨텍스트 창
LLM이 한 번에 처리할 수 있는 정보의 양은 제한적입니다. 이 때문에 검색된 중요한 정보가 요약되거나 일부가 누락된 채로 LLM에 전달되어, 모델이 전체적인 맥락을 파악하지 못하고 부정확한 답변을 생성할 위험이 있습니다. 이렇게 빈약하게 검색된 정보는 모델이 근거 없는 세부 사항을 추측하고 채워 넣도록 만들어 환각(hallucination)의 직접적인 원인이 됩니다.
Agentic Chunking의 재정의: 정적 분할에서 동적 오케스트레이션으로
‘Agentic Chunking’은 문서를 사전에 분할하는 새로운 기술이 아닙니다. 이는 복잡한 질문을 해결하기 위해 에이전트(Agent)가 실시간으로 검색 과정을 계획하고 조율(Orchestration)하는 동적인 접근 방식입니다. 즉, 정적으로 잘라 놓은 ‘청크(Chunk)’를 찾는 것을 넘어선 ‘지능형 정보 수집’ 과정이라고 할 수 있습니다.
이러한 패러다임 전환은 RAG의 작동 방식을 근본적으로 바꿉니다. 기존 RAG가 ‘사전에 잘라 놓은 정보 조각을 찾는 것’에 집중했다면, Agentic RAG는 ‘질문에 맞춰 필요한 정보 조각들을 동적으로 찾고, 연결하고, 검증하는 것’으로의 전환을 의미합니다. 에이전트는 복잡한 질문을 해결하기 위한 전략을 스스로 수립하고, 다양한 도구를 활용하여 필요한 증거를 체계적으로 수집합니다.
Agentic RAG의 핵심 워크플로우: Plan-Route-Act-Verify-Stop
Agentic RAG의 에이전트는 복잡한 질문을 처리하기 위해 다음과 같은 5단계의 체계적인 워크플로우를 따릅니다.
1. 계획 (Plan)
에이전트는 먼저 복잡한 질문을 해결 가능한 여러 개의 하위 질문(sub-questions)으로 분해합니다. 예를 들어, “지난 분기에 갱신한 기업 고객 중 SSO 관련 지원 티켓을 연 고객은 누구인가?”라는 질문은 다음과 같이 분해될 수 있습니다.
- 1. 지난 분기에 갱신한 기업 고객 목록을 찾는다.
- 2. SSO 관련 지원 티켓을 생성한 고객 목록을 찾는다.
- 3. 두 목록을 비교하여 교차하는 고객을 식별한다.
2. 라우팅 및 실행 (Route & Act)
분해된 각 하위 질문에 가장 적합한 도구(Tool)를 선택하여 실행합니다. 예를 들어, 고객과 계약, 지원 티켓 간의 관계를 파악해야 하는 하위 질문에는 ‘지식 그래프 검색(GraphRAG)’이 효과적입니다. 이는 단순히 유사한 텍스트를 찾는 것을 넘어, 데이터의 ‘맥락(context)’ 자체를 검색할 수 있게 해줍니다. 예를 들어, ‘A 고객이 B 제품 계약을 갱신했고, C 지원 티켓을 열었다’는 관계를 직접 조회할 수 있어 다단계 추론에 필수적입니다. 반면, 특정 날짜나 사실 관계를 확인해야 할 때는 ‘하이브리드 검색(Hybrid Search)’을 사용하여 정확한 정보를 찾습니다.
3. 검증 (Verify)
각 단계에서 수집된 증거의 품질을 확인하고, 여러 소스에서 얻은 정보가 서로 충돌하지 않는지 검토합니다. 만약 수집된 증거가 불충분하거나 신뢰도가 낮다고 판단되면, 에이전트는 다른 도구를 사용하거나 검색 범위를 넓히는 등 추가적인 정보 수집을 시도합니다.
4. 중단 및 종합 (Stop & Synthesize)
모든 하위 질문에 대한 충분한 증거를 수집했거나, 미리 정해진 예산(최대 도구 호출 수, 토큰 사용량 등)에 도달하면 정보 수집 과정을 중단합니다. 이후, 수집된 모든 증거들을 종합하여 최종 답변을 생성합니다. 이때 각 주장에 대한 명확한 출처(citation)를 함께 제시하여 답변의 신뢰성과 투명성을 극대화하는 것이 중요합니다.
Agentic RAG를 구동하는 핵심 기술들
Agentic RAG 워크플로우가 효과적으로 작동하기 위해서는 다음과 같은 기반 기술들이 필요합니다.
- 지능적인 데이터 파싱 (Intelligent Data Parsing)
Unstructured 라이브러리의 partition_pdf와 같은 도구는 PDF 문서의 레이아웃을 분석하여 텍스트와 표를 깨끗하게 분리합니다. 이를 통해 원본 문서의 구조를 보존하고, 각 요소의 의미를 잃지 않은 상태로 데이터를 처리할 수 있습니다. - 다중 벡터 검색 (Multi-Vector Retrieval)
연구 논문과 같이 복잡한 문서에서 특히 유용한 이 방식은 검색 효율성과 답변 품질을 동시에 높이는 전략입니다. 검색 단계에서는 간결한 ‘요약문’의 임베딩을 사용하여 관련성 높은 후보군을 빠르게 찾고, 이후 LLM에 컨텍스트를 제공할 때는 해당 요약문에 연결된 ‘원본 전체’를 전달합니다. 이를 통해 LLM은 풍부한 맥락 속에서 정확한 답변을 생성할 수 있습니다. - 하이브리드 검색 (Hybrid Retrieval)
의미 기반의 벡터 검색(Semantic Search)과 키워드 기반의 텍스트 검색(Lexical Search, e.g., BM25)을 결합하는 방식입니다. 벡터 검색이 놓치기 쉬운 고유 명사(SKU-123)나 약어(SSO)는 텍스트 검색이 포착하고, 텍스트 검색이 파악하기 어려운 문맥적 의미(예: ‘수익성 악화 원인’)는 벡터 검색이 보완하는 상호 보완적 관계입니다. 이를 통해 의미적 맥락과 특정 용어를 모두 포착하여 검색의 정밀도와 재현율을 높일 수 있습니다. - 지식 그래프 검색 (GraphRAG)
문서 내의 개체(사람, 제품, 회사 등)와 그들 사이의 관계를 그래프 형태로 모델링합니다. 벡터 검색이 특정 문서 내의 ‘지역적(local)’ 정보 조회에 강점이 있다면, 지식 그래프는 여러 문서에 흩어져 있는 사실들을 연결하여 ‘전역적(global)’ 질문이나 ‘다단계(multi-hop)’ 관계를 추론하는 데 필수적입니다. 이를 통해 단순 텍스트 검색으로는 파악하기 어려운 ‘데이터 간의 복잡한 연결성’과 ‘심층적인 맥락’을 효과적으로 검색할 수 있습니다. - 교정 RAG (Corrective RAG – CRAG)
답변을 생성하기 전에, 검색된 컨텍스트가 질문에 답변하기에 충분히 유용한지 시스템이 스스로 평가하는 피드백 루프입니다. 만약 컨텍스트의 품질이 낮다고 판단되면, 시스템은 자동으로 추가 검색을 실행하여 더 나은 증거를 확보한 후 답변 생성을 진행합니다.
Agentic RAG로 더 똑똑한 AI 시스템 구축하기
이 글에서는 기존 RAG 시스템이 가진 명확한 한계점에서 출발하여, Agentic RAG가 어떻게 이러한 문제들을 해결하는지 살펴보았습니다. Agentic RAG는 정적인 정보 조각을 찾는 것을 넘어, LLM 에이전트가 동적으로 계획을 수립하고 지식 그래프, 하이브리드 검색 등 다양한 고급 기술을 조율하여 복잡한 질문에 대한 답을 찾아가는 능동적인 프로세스입니다.
Agentic RAG를 도입함으로써 우리는 다음과 같은 이점을 기대할 수 있습니다.
- 정확도 향상: 다단계 추론이나 여러 문서에 걸친 정보 종합이 필요한 복잡한 질문에 대해 훨씬 더 정확한 답변을 제공합니다.
- 신뢰성 및 설명 가능성 증대: 모든 답변이 어떤 증거(출처)에 기반하여 생성되었는지 명확하게 추적하고 인용(citation)을 제시할 수 있어 결과의 신뢰도를 높입니다.
결론적으로 Agentic RAG는 단순한 기술적 개선을 넘어, AI가 정보를 이해하고 활용하는 방식을 근본적으로 바꾸는 중요한 패러다임의 전환입니다. 이를 통해 우리는 더 정교하고 신뢰할 수 있으며, 비즈니스 질문의 복잡한 ‘의도’까지 파악하여 스스로 해결 전략을 수립하는 진정한 의미의 지능형 AI 시스템을 구축할 수 있을 것입니다.
