[Snowflake Data Cloud Summit 2024] BUILD A RAG-BASED LLM ASSISTANT USING STREAMLIT AND SNOWFLAKE CORTEX AI , AI305

2024-09-022024-09-19 비즈니스

장소:
Basecamp, North, Hall F

스피커:
CARLOS CARRERO(Global Principal Architect AI/ML – Partners, Snowflake) / DASH DESAI(Lead Developer Advocate, Snowflake)

최근 고객들이 AI, LLM 에 대한 관심도가 높아지고 저 또한 관심이 많은 서비스라 소개해 드리고 싶은 마음에 해당 세션을 듣게 되었습니다.
이번 세션에서는 Snowflake의 Streamlit을 사용하여 간단한 검색 증강 생성(RAG) 애플리케이션을 만드는 핸즈온 랩이 진행되었습니다.

Snowflake 기본 임베딩 기능을 사용하여 PDF 문서를 읽고, 청크하고, 벡터화합니다.
이러한 임베딩은 RAG가 Snowflake Cortex AI를 통해 대규모 언어 모델에 대한 호출을 보완하여 문서를 컨텍스트로 사용하여 특정 질문에 답하는 데 사용됩니다.
Snowflake 기능인 Streams 및 Task를 사용하여 Snowflake에 추가되는 새 PDF 파일을 자동으로 처리하는 실습까지 진행되었습니다.

실습단계는 아래 과정으로 진행되었습니다.

먼저 몇 개의 문서를 로컬로 가져온 다음 PDF를 보관할 데이터베이스, 해당 PDF를 처리(추출 및 청크)하는 Function 생성, 문서를 업로드할 디렉토리 테이블이 있는 스테이지를 만듭니다.
Vector Store 구축 – 각 PDF의 청크와 벡터를 저장할 테이블을 만들고 Snowflake Cortex를 사용하여 텍스트를 임베딩으로 변환하여 저장합니다.
채팅 UI 및 채팅(검색 및 생성) 로직 구축 – Snowflake Streamlit 을 사용하여 간단한 프롬프트 앱을 만듭니다.

Snowflake Cortex를 사용하여 RAG를 성공적으로 수행했으며 통합을 구축하거나 인프라를 관리, 또는 Snowflake 거버넌스 프레임워크 외부로 이동하는 데이터에 대한 보안 문제를 처리할 필요 없이 Snowflake에서 전체 스택 RAG 애플리케이션을 안전하게 구축했습니다.

Snowflake 의 Quickstart 에 있는 내용으로 핸즈온랩이 진행되었고, 전체적인 흐름을 파악할 수 있는 좋은 기회가 되었습니다.

앞으로 고객분들께 가이드를 드리기 위해서는 각 AI모델의 특성이나 LLM 서비스의 상세한 내용까지 파악이 되어야 할 것으로 생각되며 좀 더 관심있게 살펴볼 예정입니다.

작성 ｜ 전미 매니저 CTC Cloud Solutions Architect 팀

게시물 주소가 복사되었습니다.