[Snowflake Data Cloud Summit 2024] What’s New: Building AI Chat Experiences with RAG in Snowflake Cortex

2024-09-032024-09-19 비즈니스

장소:
Room 156 (Moscone South)

스피커:
Himabindu Pucha(Software Engineer – Snowflake), David Taylor(Product Manager – Snowflake)

이번 세션에서는Snowflake의 Cortex AI의 여러 기능과 실제 응용에 대한 내용 중심으로 진행되었습니다.

Cortex AI는 Snowflake의 AI 제품 중 하나로, Model, Chat, Studio 3가지 레이어로 제공됩니다.
다양한 모델들이 제공되고, 쿼리 기반의 자연어로 질의할 수 있는Cortex Analyst와 특정 기업 문서에 질의할 수 있는 기능이 있는 Cortex Search가 Chat 기반으로 제공됩니다.
최상위 레이어에는 Studio가 있는데, 이 곳에서는 누구나 데이터 분석을 할 수 있게 모델 선택을 간편하게 해줍니다.

Cortex AI에서는 파트너의 모델이나 오픈소스에서 가져온 모델을 제공하고, 자체 개발한 Arctic 모델을 제공합니다.

Cortex AI의 특별한 점은 이 LLM(대형 언어 모델)을 간단한 SQL문으로 가능하게 한다는 점입니다.
Model을 선택한 뒤, “고객의 피드백을 100개 단어로 요약하고, json format으로 출력해줘” 라는 Prompt 문을 작성하고, 테이블을 선택한 후 SQL을 작동시키면, 질문에 해당하는 고객의 피드백 내용을 알려주고, 긍정적인지, 부정적인지 알려줄 수 있습니다.
현재 많은 고객들은 Snowflake의 이러한 기능을 통해 매우 빠르게 가치를 창출하고 있습니다.

Cortex Playground를 사용하여 LLM(대형 언어 모델)을 쉽게 테스트하고 평가하여 특정 요구 사항에 가장 적합하고 비용 효과적인 모델을 찾을 수 있습니다. 이를 통해 사용자는 애플리케이션에 사용할 올바른 설정과 올바른 LLM을 신속하게 식별하여 생산성을 향상시킬 수 있습니다.

Cortex Fine-Tuning 기능은 Snowflake 내에서 데이터를 사용하여 인기 있는 LLM(대형 언어 모델)을 Fine-Tuning 할 수 있는 완전 관리형 서비스입니다. 다음 인수와 함께 Snowflake Cortex 함수인 FINETUNE으로 제공됩니다.

CREATE : 주어진 훈련 데이터로 Fine-Tuning Job을 생성합니다.
SHOW : 현재 역할이 액세스할 수 있는 모든 Fine-Tuning Job을 나열합니다.
DESCRIBE : 특정 Fine-Tuning Job의 진행 상황과 상태를 설명합니다.
CANCEL : 지정된 Fine-Tuning Job을 취소합니다.

기업은 Gen AI를 활용하여 데이터에서 더 많은 가치를 추출하고 고객 및 직원 애플리케이션을 위한 대화형 인터페이스를 구축할 수 있습니다.

Snowflake Cortex AI를 사용하면, 기술 전문 지식에 관계없이 조직 내 모든 사람이 기술의 잠재력을 발휘할 수 있도록 설계된 완전 관리형 서비스입니다. 업계 최고의 LLM(대형 언어 모델)에 대한 액세스를 제공하여 사용자가 AI 기반 애플리케이션을 쉽게 구축하고 배포할 수 있도록 합니다.

따라서 전문 인력을 고용하지 않고도 AI 기반 애플리케이션을 신속하게 구축하고자 하는 한국 내 기업들에게 큰 희소식이 될 것입니다.

작성 ｜ 김은옥 매니저 CTC Cloud Solutions Architect 팀

게시물 주소가 복사되었습니다.