[reinvent 2025] RAG는 끝 : 오랜 기간 지속 가능한 지능형 검색 증강 세대
Summary
검색 증강 생성(RAG)의 초창기는 이제 끝났습니다. 이 세션에서는 선도적인 팀들이 기본적인 문서 검색을 넘어 다단계 추론, 동적 네임스페이스 선택, 메타데이터 인식 검색, 평가 등을 통합하는 에이전트 기반 RAG 파이프라인을 구축하는 방법을 알아봅니다.
Overview
들어가며
향후 지능형 검색 증강 세대가 주를 이룰 겁니다. 이는 기본적인 문서 검색을 넘어 다단계 추론, 동적 네임스페이스 선택, 메타데이터 인식 검색, 평가 등을 통합하는 에이전트 기반 RAG를 구성합니다.
RAG is Dead: Long Live Intelligent Retrieval-Augmented Generation
본 세션의 배경
전통적인 RAG(검색 증강 생성)의 한계와, 이를 극복하기 위한 새로운 접근 방식인 Agentic RAG(지능형 검색 증강 생성)를 소개하기 위해서 입니다.
핵심 문제:
식당 및 요리 추천 서비스를 구축할 때, 복잡하고 까다로운 선호 사항(예: 알레르기, 특정 분위기, 예산 등)을 가진 사용자들(특히 첫 데이트 커플)을 만족시키는 것이 어렵습니다.
문제의 중요성:
이러한 상황은 ‘고위험, 고수익’ 상황이며, 잘못된 추천은 사용자를 잃게 만드는 큰 결과를 초래할 수 있으므로 , 단 한 번에 제대로 된 추천을 제공해야 합니다.
RAG 실패 요인:
이 문제는 다수의 이질적인 데이터 소스(리뷰, 메뉴, 위치 등)를 조정해야 하고, 길고 복잡하며,
동기를 이해하기 위한 추론 능력과 계획/조정이 필요한 자연어 쿼리를 다루어야 하므로 , 전통적인 기본적인 RAG 시스템으로는 실패할 수밖에 없습니다.
해결을 위한 아키텍처 제안
Agentic RAG는 도구 사용 워크플로 아키텍처를 기반으로 하며, 에이전트가 복잡한 쿼리를 인테이크하고, **쿼리 변환 절차, 기준 평가, 다양한 데이터베이스(요리, 식당, 알레르기, 리뷰)**와 같은 도구 및 데이터베이스에 동적으로 접근하여, 추천 패턴을 제공합니다.
Agentic RAG의 구체적인 구현 기술
Agentic RAG가 기여하는 세 가지 구체적인 기술 영역입니다.
쿼리 이해(Query Understanding): 에이전트는 쿼리 계획 능력을 통해 최적의 검색을 수행합니다.
- 하위 쿼리 생성: 사용자 쿼리를 바탕으로 필요한 다른 것을 질문.
- 쿼리 라우팅: 들어오는 쿼리를 관련 데이터베이스로 정확히 보냄.
- 쿼리 확장: 검색에 필요한 추가 용어, 개념, 제약 조건을 포함.
검색 최적화(Optimizing Retrieval): 에이전트가 사용하기 쉽도록 데이터베이스를 **인체공학적(ergonomic)**으로 만드는 것이 중요합니다.
- 맥락 부여: 데이터베이스에 포함된 정보와 에이전트가 이를 어떻게 사용해야 하는지에 대한 스키마를 명확히 제공.
- 강력한 검색 기술: 데이터 저장 방식과 상호작용 방식을 최적화하여 관련성 극대화.
- 반복적인 생성(Iterative Generation): 첫 검색 결과에 멈추지 않고 품질을 높이기 위해 반복적인 절차를 적용합니다.
- 루프 활용: 대기 시간을 희생하여 사용자에게 더 관련성 높은 추가 정보를 검색하는 루프.
- 함축된 선호 사항 식별: 사용자가 처음에는 말하지 않은 필요한 정보를 파악하고 후속 조치.
- 구조화된 생성 및 체크리스트: 결과를 사용자에게 전달하기 전에 , 초기 쿼리에서 동적으로 생성된 평가 체크리스트를 통해 알레르겐 준수, 분위기 만족 등의 기준을 만족하는지 확인하여 품질을 보장합니다.
결론
Agentic RAG는 단순 벡터 조회에 의존하는 전통적인 RAG 시스템으로는 실패할 수밖에 없습니다.
주요 이점: 쿼리 이해, 검색 최적화, 반복적인 생성을 통해 결과의 품질을 높입니다.
가치: 비록 약간의 대기 시간 비용이 발생하더라도 , 사용자에게 긍정적인 결과를 제공하기 위해 품질을 높이는 것이 훨씬 더 중요합니다.
