[reinvent 2024] Intel & OPEA와 함께 AWS에서 RAG 배포 최적화로 생성형 AI 단순화 (Intel 스폰서)

들어가며

OPEA의 실제 사용 사례를 통해, 진행 중인 프로젝트에 바로 적용할 수 있는 아키텍처나 파이프라인을 구상할 수 있을 것으로 기대했습니다. 다양한 컴포넌트들이 유기적으로 연결되고, 그 과정에서 발생할 수 있는 기술적인 장벽들을 어떻게 해결할 수 있는지에 대한 답을 찾을 수 있는 시간이 될 것이라고 생각했습니다.

Generative AI Application의 한계와 복잡성

• 다양한 컴포넌트의 통합 문제
  애플리케이션은 평균적으로 20~30개의 컴포넌트로 구성되며, 이들이 제대로 호환되지 않으면 배포 과정에서 오류가 발생합니다.
  
  
• 벤더 종속성 문제
  특정 플랫폼이나 벤더의 기술에 종속되면 유연성이 떨어지고, 장기적인 비용 부담이 증가합니다.
  
  
• 표준 부족
  기업들은 개발 과정에서 검증된 사례나 명확한 가이드라인이 부족하여, 많은 시간을 재설계와 테스트에 소모하고 있습니다.

OPEA는 이러한 문제를 해결하기 위해, 개방형 구조와 표준화된 모범 사례를 제공하여 기업들이 효율적으로 애플리케이션을 개발하고 배포할 수 있도록 돕습니다.

About OPEA

• Plug & Play 구조: 사용자는 특정 벡터 데이터베이스나 LLM과 같은 컴포넌트를 필요에 따라 교체할 수 있습니다.
• Blueprint 제공: 챗봇, 비디오 Q&A, 시각적 Q&A 등 20개 이상의 애플리케이션 블루프린트를 제공하여 배포 과정을 단순화합니다.
• Community 기반의 협업: OPEA는 다양한 기업과 커뮤니티의 기여를 통해 지속적으로 개선되고 있으며, 새로운 요구 사항에 유연하게 대응할 수 있습니다.
  
  

AWS & Intel & OPEA

• EKS (Elastic Kubernetes Service): 마이크로서비스 배포 및 오케스트레이션.
• Open Search: 데이터 저장소 및 검색 엔진.
• SageMaker / Bedrock: AI 모델 학습 및 배포.
• AWS는 OPEA와의 통합을 통해 확장성과 다중 클라우드 지원을 제공합니다.
  
  

2. INTEL: Intel Gaudi 2 AI Accelerator(고성능 AI 모델 가속기)는 학습, 추론에 최적화된 하드웨어를 제공합니다.

• 최적화된 모델: LLM 및 기타 AI 모델에 대한 최적화된 소프트웨어 스택을 제공.
• Hugging Face와 같은 오픈 소스 모델이나 특정 맞춤형 모델도 지원.
• OPEA의 블루프린트를 활용하여 Intel 하드웨어와 최적화된 AI 모델을 쉽게 배포할 수 있습니다.
  
  

3. OPEA :  GenAI 애플리케이션의 기본 구조를 설계하고 배포 과정을 간소화하기 위한 프레임워크를제공합니다.

위의 그림은 일반적인 OPEA의 ChatBot Pipeline입니다.

위의 그림은 일반적인 OPEA의 ChatBot Pipeline에 AWS 서비스를 적용한 버전입니다.

OPEA는 플랫폼 자체로는 특정 기술에 종속되지 않으며, AWS의 클라우드 서비스와 Intel의 AI 하드웨어 및 소프트웨어를 선택적으로 조합하여 애플리케이션을 개발하고 배포할 수 있도록 설계되었습니다. 이 구조는 기업이 특정 벤더에 묶이지 않으면서도 최적의 기술 스택을 선택할 수 있는 자유로움을 제공합니다.

About OpenSearch

AWS가 주도하는 오픈 소스 검색 및 분석 엔진으로, OPEA 플랫폼에서 백엔드 데이터 처리와 검색을 담당하는 핵심 서비스입니다.

• 검색 엔진 기능: OpenSearch는 정형 및 비정형 데이터를 검색할 수 있으며, Lexical / Vector / HyBrid Search를  지원합니다. 이를 통해 Generative AI 애플리케이션에서 고도화된 검색 경험을 제공합니다.
• 벡터 및 생성 AI 지원: OpenSearch는 근접 이웃 검색(KNN) 알고리즘(HNSW, IVF 등)을 활용하여 벡터 데이터를 효율적으로 처리합니다. 이를 통해 의미 기반의 검색 및 추천 기능이 가능합니다.
• 데이터 분석 및 시각화: 대규모 log 데이터를 처리하고, 이를 시각화 대시보드 형태로 표현할 수 있어 실시간 모니터링 및 알림 설정이 가능합니다.
• 확장성 및 유연성: AWS 클라우드 기반의 관리형 서비스와 자체 배포형 서비스를 모두 지원하며, 사용자는 클러스터 크기와 구성을 자유롭게 조정할 수 있습니다.

OpenSearch는 단순히 검색 도구 이상의 역할을 하며, OPEA의 데이터 저장소 및 검색 기능을 강화하는 중요한 요소로 자리 잡고 있습니다.

OPEA Config ㅣ Retriever & Data Prep

OPEA의 CONFIG는 Retrieval과 Data Prep의 설정을 효율적으로 관리하고 최적화하는 중요한 역할을 합니다. 이를 통해 Generative AI 애플리케이션을 빠르게 배포하고 유연하게 관리할 수 있습니다.

1. Retrieval 설정

• 검색 엔진 선택: OpenSearch, Redis 등 다양한 검색 엔진을 설정할 수 있습니다.
• 검색 파라미터 조정: KNN 알고리즘(HNSW, IVF 등) 등을 통해 검색 성능을 최적화합니다.
• 검색 쿼리 최적화: 벡터와 텍스트 검색을 결합하여 효율적인 검색을 제공합니다.
  
  

2. Data Prep 설정

• 데이터 소스 정의: 로컬 파일 시스템, 클라우드 스토리지 등에서 데이터를 불러옵니다.
• 데이터 전처리: 데이터 정제, 토큰화, 벡터화 등의 작업을 설정할 수 있습니다.
• 파이프라인 구성: 데이터 처리 파이프라인을 설정하여 여러 전처리를 순차적으로 처리합니다.
  
  

3. Retrieval과 Data Prep 통합

• 통합 파이프라인: 데이터를 준비하고 즉시 검색에 활용할 수 있도록 Retrieval과 Data Prep을 연결합니다.

결론