[Snowflake Data Cloud Summit 2024] BUILD A RAG-BASED LLM ASSISTANT USING STREAMLIT AND SNOWFLAKE CORTEX AI , AI305

비즈니스

장소:
Basecamp, North, Hall F

스피커:
CARLOS CARRERO(Global Principal Architect AI/ML – Partners, Snowflake) / DASH DESAI(Lead Developer Advocate, Snowflake)
최근 고객들이 AI, LLM 에 대한 관심도가 높아지고 저 또한 관심이 많은 서비스라 소개해 드리고 싶은 마음에 해당 세션을 듣게 되었습니다.
이번 세션에서는 Snowflake의 Streamlit을 사용하여 간단한 검색 증강 생성(RAG) 애플리케이션을 만드는 핸즈온 랩이 진행되었습니다.
Snowflake 기본 임베딩 기능을 사용하여 PDF 문서를 읽고, 청크하고, 벡터화합니다.
이러한 임베딩은 RAG가 Snowflake Cortex AI를 통해 대규모 언어 모델에 대한 호출을 보완하여 문서를 컨텍스트로 사용하여 특정 질문에 답하는 데 사용됩니다.
Snowflake 기능인 Streams 및 Task를 사용하여 Snowflake에 추가되는 새 PDF 파일을 자동으로 처리하는 실습까지 진행되었습니다.
실습단계는 아래 과정으로 진행되었습니다.

  • 먼저 몇 개의 문서를 로컬로 가져온 다음 PDF를 보관할 데이터베이스, 해당 PDF를 처리(추출 및 청크)하는 Function 생성, 문서를 업로드할 디렉토리 테이블이 있는 스테이지를 만듭니다.
  • Vector Store 구축 – 각 PDF의 청크와 벡터를 저장할 테이블을 만들고 Snowflake Cortex를 사용하여 텍스트를 임베딩으로 변환하여 저장합니다.
  • 채팅 UI 및 채팅(검색 및 생성) 로직 구축 – Snowflake Streamlit 을 사용하여 간단한 프롬프트 앱을 만듭니다.
Snowflake Cortex를 사용하여 RAG를 성공적으로 수행했으며 통합을 구축하거나 인프라를 관리, 또는 Snowflake 거버넌스 프레임워크 외부로 이동하는 데이터에 대한 보안 문제를 처리할 필요 없이 Snowflake에서 전체 스택 RAG 애플리케이션을 안전하게 구축했습니다.
 
Snowflake 의 Quickstart 에 있는 내용으로 핸즈온랩이 진행되었고, 전체적인 흐름을 파악할 수 있는 좋은 기회가 되었습니다.
 
앞으로 고객분들께 가이드를 드리기 위해서는 각 AI모델의 특성이나 LLM 서비스의 상세한 내용까지 파악이 되어야 할 것으로 생각되며 좀 더 관심있게 살펴볼 예정입니다.

작성 ｜ 전미 매니저 CTC Cloud Solutions Architect 팀
게시물 주소가 복사되었습니다.

이런 콘텐츠도 있어요!

[필수] 개인정보 수집 및 이용 동의

메가존클라우드(이하 ‘회사’)는 아래 사항에 따라 회원님의 정보를 수집·활용하고 있습니다. 아래 사항을 숙지하시어 동의하시는 경우 확인란에 표시해 주시기 바랍니다.

1. 수집되는 개인정보
– [필수] 회사명 / 성함 / 회사 이메일

2. 수집/이용 목적
– 뉴스레터를 통해 IT산업(클라우드 산업 포함) 및 메가존클라우드의 다양한 소식 및 정보를 제공하고, 이용자 분석 통계를 통해 신규 서비스 발굴 및 기존 서비스 개선, 맞춤 서비스 제공을 위해 개인정보를 활용합니다.
– (광고성 정보 수신 동의 시) 관련 신규 상품 소개, 서비스 제공 및 이용, 행사 안내 (이메일 알림)

3. 보유 및 이용 기간
– 수집일로부터 3년(단, 정보주체가 철회할 경우 지체 없이 파기)

※ 개인정보 이용 철회 방법
– 안내문 등의 동의철회 이용방법
거부 전자 메일 링크를 클릭하거나 정보 텍스트에서 거부 전자 메일 연락처에 통지하여 거부/수락 의사를 알립니다.


※ 개인정보처리상담부서
* 부서명 : 마케팅그룹
* 연락처 : 02-2108-9171, event@megazone.com

4. 동의 거부권 및 불이익
– 귀하는 동의를 거절할 수 있는 권리를 보유하며, 동의를 거절하는 경우 상기 이용 목적에 명시된 서비스가 제공되지 아니합니다.
– 관련 신규 상품 소개, 서비스 제공 및 이용, 행사 안내는 광고성 정보 수신 동의를 선택하신 분께만 발송됩니다.
(선택하지 않은 경우, 해당 정보를 받으실 수 없습니다.)

[선택] 마케팅 활용 및 광고성 정보 수신 동의

메가존클라우드(이하 ‘회사’)는 아래 사항에 따라 회원님의 정보를 수집·활용하고 있습니다.
아래 사항을 숙지하시어 동의하시는 경우 확인란에 표시해 주시기 바랍니다

1. 수집되는 개인정보
– [필수] 회사명 / 성함 / 회사 이메일

2. 수집/이용 목적
– 행사 안내 및 제공, 신제품 안내, 소식지 발송 등 영업 마케팅 활동
※ 본 동의에는 이메일, 문자, 전화를 이용한 광고 수신 동의가 포함됩니다.

3. 보유 및 이용 기간
– 수집일로부터 3년(단, 정보주체가 철회할 경우 지체 없이 파기)

※ 개인정보 이용 철회 방법
– 안내문 등의 동의철회 이용방법
거부 전자 메일 링크를 클릭하거나 정보 텍스트에서 거부 전자 메일 연락처에 통지하여 거부/수락 의사를 알립니다.


※ 개인정보처리상담부서
* 부서명 : 마케팅그룹
* 연락처 : 02-2108-9171, event@megazone.com

4. 동의 거부권 및 불이익
– 귀하는 동의를 거절할 수 있는 권리를 보유하며, 동의를 거절하는 경우 상기 이용 목적에 명시된 서비스가 제공되지 아니합니다.
– 관련 신규 상품 소개, 서비스 제공 및 이용, 행사 안내는 광고성 정보 수신 동의를 선택하신 분께만 발송됩니다.
(선택하지 않은 경우, 해당 정보를 받으실 수 없습니다.)