[reinvent 2024] OPEA로 엔터프라이즈 생성형 AI(RAG)를 배포 및 구축하세요 (Intel 스폰서)

들어가며

오늘날 우리가 처한 상황은 생성형 AI 애플리케이션을 개발하고자 할 때, 너무도 많은 프레임워크와 옵션이 산재해 있어 목표를 향한 선명한 길이 보이지 않는다는 점입니다. 때문에 우리는 생성형 AI를 통해 무언가 만들고자 할 때 항상 새로운 무언가를 발명하고 있는 것 같은 기분이 듭니다.

하지만 이러한 혼란 속에서도 기회는 있습니다. 오픈소스 프로젝트인 OPEA(Open Platform for Enterprise AI) 는 혼란한 상황 속 개발자 및 기업에 한줄기 빛 같은 존재가 되어줄 것입니다.

혼란을 잠재울 오픈소스 프레임워크

Open Platform for Enterprise AI (OPEA) 는 Open Source Framework로, GenAI Application 배포를 지원합니다. 이 프레임워크는 마이크로서비스 아키텍처를 기반으로 합니다. 따라서 어떤 애플리케이션을 배포하고자 하든 배포를 원활하게 하는 블루프린트를 제공합니다. 이 블루프린트는 UI, VectorDB, LLM 등을 포함하여 애플리케이션의 End-to-End 배포를 지원합니다. 예를 들어, 사용하고자 하는 원하는 LLM, Vector DB 등이 있다면 단순히 특정 모듈을 교체하고 새로운 애플리케이션을 배포 하면 됩니다.

OPEA Workshop

참조 : https://github.com/opea-project/GenAIInfra

OPEA 워크샵은 EKS를 기반으로 진행되었습니다. EKS 클러스터의 리소스 탭에서 현재 실행중인 앱을 확인할 수 있습니다.

CloudShell에서 EKS에 액세스하고, 애플리케이션 배포 및 리소스를 관리할 준비를 합니다.

$ Kubectl get svc 명령을 통해 현재 k8s 클러스터에서 실행중인 서비스 목록을 불러옵니다. 각 서비스는 각자의 이름을 가지고 있으며 이를 통해 추후 해당 서비스에 접근합니다.

실행중인 서비스 목록을 확인했으니 실제로 활용하여 LLM에게 질문들 해보겠습니다. Nike의 2023년 revenue를 물어본 결과, 모델이 22년도 데이터까지만 학습하여 답을 하지 못했습니다.

단점을 보완하기 위해 RAG를 적용해보겠습니다.

데이터 로드 및 임베딩을 진행한 후 VectorDB(Redis)에 적재합니다.

이후 Retriever 및 Reranker 마이크로서비스를 활용하여 유사도 높은 문서를 Retrieve 합니다.

이후 가드레일을 반영하여 폭력적이거나 성적인 내용을 포함하는 등 부적절한 질문의 경우 필터링을 거쳐 답변을 하지 않도록 합니다. 딥러닝에 대해 질문하고 은행 강도 방법을 답변하도록 했지만 가드레일에 걸려 답변을 생성하지 않습니다.

결론

이번 워크샵 세션에서는 오픈소스 프레임워크인 OPEA를 활용한 생성형 AI 애플리케이션 배포 방법에 대해 알아봤습니다. 마이크로서비스 아키텍처를 기반으로 하는 OPEA는 각각의 마이크로서비스를 하나의 블럭으로 생각하며 별도의 파이프라인 구성을 원한다면 해당하는  부분만 다른 마이크로서비스 블럭으로 갈아 끼워 파이프라인을 구성할 수 있었습니다.

최근 생성형AI가 급부상하며 하루가 멀다 하고 쏟아져 나오는 수많은 생성형 AI 기술에 길을 잃고 해매고 있는 엔지니어 및 기업에게 등대와 같은 한줄기 빛이 될 가능성을 확인할 수 있었습니다.