[Snowflake Data Cloud Summit 2024] WHAT’S NEW WITH ORCHESTRATION IN SNOWFLAKE

비즈니스

장소:
Tuesday, Jun 4 4:00 PM – 4:45 PM PDT (Wednesday, Jun 58:00 AM – 8:45 AM KST)
Room 151 (Moscone South, Upper Mezzanine)

스피커:
Manuela Wei (Senior Product Manager, Snowflake)
Joe Tobey (VP, Merkury Data Engineering, Merkle)
Snowflake Data Cloud Summit 2024에서 발표된 오케스트레이션 관련 새로운 기능에 대한 세션을 들었습니다.
스노우플레이크 Tasks는 사용자가 스노우플레이크에서 태스크를 쉽게 오케스트레이션하고 스케줄링할 수 있도록 해주는 스노우플레이크의 네이티브 오케스트레이션 기능입니다. 또한, Serverless Task는 스노우플레이크에서 관리하는 컴퓨트를 통해 이 과정을 더욱 단순화합니다.
 
Task 기능은 현재 많은 고객들이 사용하고 있으며, 이번 세션을 통해 Task 기능의 최신 업데이트와 실용적인 사용 사례를 알아보았습니다.
오케스트레이션에서 새로운 기능은 다음과 같습니다.

  • Task Graph: 여러 Task, 종속성, 성공/실패 알림을 사용하여 복잡한 비즈니스 프로세스 모델링
  • Task Graph Observability by Snowflake Trail: Task 실행에 대한 자세한 시각화를 제공하며 Graph 표현, 실행 세부정보, 문제 해결 기능 등
  • Triggered Tasks: 데이터 가용성을 기반으로 파이프라인 실행을 자동화하고, 스케줄링 필요성을 없애고, 낮은 대기 시간 제공
  • Serverless Task Flex: 배치 ETL 파이프라인에 유연한 윈도우를 제공하여 비용 효율적인 옵션 제공
  • 기타 새로운 기능(예정 포함): Lower Latency Tasks, Tasks Backfill, UI 업데이트

전반적으로 새로운 기능은 데이터 오케스트레이션에 스노우플레이크 Task를 사용하여 비용 절감, 관리 간소화를 할 수 있음을 강조하였습니다.
Task Graph
UI를 통해 Task 설정을 변경하거나 재시도 횟수를 확인할 수 있습니다. 데모를 통해 오류 발생시 자동으로 재시도를 하는 방법을 확인하였습니다.

Task Graph Observability by Snowflake Trail
Task Graph Observability는Task Graph의 실행에 대한 상세한 시각화를 제공해 사용자가 제어할 수 있는 기능으로 스노우플레이크 Trail에서 제공합니다.

Task 실행에 대한 더 깊은 통찰력을 제공하여 최근 작업 실행 시간의 변동과 추세를 쉽게 파악할 수 있으며 이를 통해 빠르게 모니터링하고, 디버깅하며, 필요한 조치를 신속히 취할 수 있습니다.
Task 의 세부 정보, 그래프, 실행 이력을 확인할 수 있으며, 실행하거나 중단/재개 등의 관리가 가능합니다.
Triggered Tasks
Triggered Tasks는 Snowflake 내부에서 데이터 변경 이벤트가 발생할 때 즉시 Task를 실행하는 기능입니다.

트리거된 Task를 통해 파이프라인 실행을 자동화하고 자원 활용을 최적화할 수 있습니다.

Stream에 데이터가 있을 때 Task를 트리거하기 때문에 따로 스케쥴 설정이 필요 없습니다.

Serverless Task Flex
Serverless Task Flex는 유연한 스케줄링 윈도우에서 배치 ETL 파이프라인을 비용 최적화하여 실행 하는 기능입니다.
컴퓨팅 자원을 관리할 필요 없이 사용자 정의 SQL, Python, Java, Scala 함수 및 저장 프로시저를 가장 비용 효율적으로 실행할 수 있습니다.
Task가 완료되어야 하는 시간을 설정하고 그 시간 안에 Task가 유연하게 실행될 수 있도록 하여 최대 42%의 비용 최적화를 제공합니다.
기타 새로운 기능
  • Lower latency Tasks: 데이터 파이프라인을 10초 간격으로 스케줄링하여 저지연 Task 실행
  • Tasks Backfill: Task Graph를 과거 데이터 범위에서 실행 및 관리하는 작업을 간소화
  • UI 업데이트:
    • 라이브 상태 보기
    • Task Graph 재시도 시도
    • Task 편집
Snowflake의 오케스트레이션 기능은 Task 설정과 관리를 직관적으로 할 수 있는 UI를 제공하여, 복잡한 비즈니스 프로세스를 모델링하고 비용을 절감하며 저지연 처리를 실현할 수 있는 새로운 기능을 도입했습니다.
오케스트레이션 기능들이 업데이트 되면서 외부의 Airflow와 같은 도구를 사용할 필요가 없어지면 데이터파이프라인 운영이 더 편리해질 것으로 생각됩니다.
Task 사용시 Graph 시각화에 대한 기능이 아쉬운 부분이 있었는데, 새로운 기능들이 빨리 업데이트되기를 기대합니다!
작성 ｜ 이소민 매니저 CTC Cloud Solutions Architect 팀
게시물 주소가 복사되었습니다.

이런 콘텐츠도 있어요!

[필수] 개인정보 수집 및 이용 동의

메가존클라우드(이하 ‘회사’)는 아래 사항에 따라 회원님의 정보를 수집·활용하고 있습니다. 아래 사항을 숙지하시어 동의하시는 경우 확인란에 표시해 주시기 바랍니다.

1. 수집되는 개인정보
– [필수] 회사명 / 성함 / 회사 이메일

2. 수집/이용 목적
– 뉴스레터를 통해 IT산업(클라우드 산업 포함) 및 메가존클라우드의 다양한 소식 및 정보를 제공하고, 이용자 분석 통계를 통해 신규 서비스 발굴 및 기존 서비스 개선, 맞춤 서비스 제공을 위해 개인정보를 활용합니다.
– (광고성 정보 수신 동의 시) 관련 신규 상품 소개, 서비스 제공 및 이용, 행사 안내 (이메일 알림)

3. 보유 및 이용 기간
– 수집일로부터 3년(단, 정보주체가 철회할 경우 지체 없이 파기)

※ 개인정보 이용 철회 방법
– 안내문 등의 동의철회 이용방법
거부 전자 메일 링크를 클릭하거나 정보 텍스트에서 거부 전자 메일 연락처에 통지하여 거부/수락 의사를 알립니다.


※ 개인정보처리상담부서
* 부서명 : 마케팅그룹
* 연락처 : 02-2108-9171, event@megazone.com

4. 동의 거부권 및 불이익
– 귀하는 동의를 거절할 수 있는 권리를 보유하며, 동의를 거절하는 경우 상기 이용 목적에 명시된 서비스가 제공되지 아니합니다.
– 관련 신규 상품 소개, 서비스 제공 및 이용, 행사 안내는 광고성 정보 수신 동의를 선택하신 분께만 발송됩니다.
(선택하지 않은 경우, 해당 정보를 받으실 수 없습니다.)

[선택] 마케팅 활용 및 광고성 정보 수신 동의

메가존클라우드(이하 ‘회사’)는 아래 사항에 따라 회원님의 정보를 수집·활용하고 있습니다.
아래 사항을 숙지하시어 동의하시는 경우 확인란에 표시해 주시기 바랍니다

1. 수집되는 개인정보
– [필수] 회사명 / 성함 / 회사 이메일

2. 수집/이용 목적
– 행사 안내 및 제공, 신제품 안내, 소식지 발송 등 영업 마케팅 활동
※ 본 동의에는 이메일, 문자, 전화를 이용한 광고 수신 동의가 포함됩니다.

3. 보유 및 이용 기간
– 수집일로부터 3년(단, 정보주체가 철회할 경우 지체 없이 파기)

※ 개인정보 이용 철회 방법
– 안내문 등의 동의철회 이용방법
거부 전자 메일 링크를 클릭하거나 정보 텍스트에서 거부 전자 메일 연락처에 통지하여 거부/수락 의사를 알립니다.


※ 개인정보처리상담부서
* 부서명 : 마케팅그룹
* 연락처 : 02-2108-9171, event@megazone.com

4. 동의 거부권 및 불이익
– 귀하는 동의를 거절할 수 있는 권리를 보유하며, 동의를 거절하는 경우 상기 이용 목적에 명시된 서비스가 제공되지 아니합니다.
– 관련 신규 상품 소개, 서비스 제공 및 이용, 행사 안내는 광고성 정보 수신 동의를 선택하신 분께만 발송됩니다.
(선택하지 않은 경우, 해당 정보를 받으실 수 없습니다.)