IGAWorks 차세대 데이터 플랫폼 전환기 : AI & Snowflake 기반 위에 그리고 새로운 도약

1. Overview (프로젝트 배경)

국내 대표 AI 데이터 기업인 아이지에이웍스(IGAWorks)는 대규모 소비자 행동 데이터를 기반으로 고객에 대한 이해와 미래 행동 예측, 기업의 의사결정을 지원하는 AI 기술과 플랫폼을 지속적으로 고도화해 온 데이터 전문 기업입니다. 사업 초기부터 S3 Data Lake와 AWS Athena 중심의 서버리스 아키텍처를 선제적으로 도입하여 유연한 확장과 빠른 제품 혁신을 이뤄냈습니다.

하지만 비즈니스 규모가 확대되고 고객사별 요구사항이 고도화 됨에 따라 IGAWorks는 현재의 성공적인 운영에 안주하지 않고 향후 수용해야 할 대규모 AI 워크로드, 탄력적 데이터 확장, 그리고 운영 효율성의 극대화를 도모하고자 했습니다.

이를 위해 MegazoneCloud, IGAWorks, Snowflake Korea 3사는 기존의 견고한 대규모 플랫폼 자산을 기반으로, AI 네이티브 데이터 플랫폼으로의 차세대 아키텍처 가능성을 검증하는 기술 PoC(Proof of Concept)를 진행했습니다.

2. Challenge

IGAWorks의 데이터 플랫폼은 매일 쏟아지는 방대한 오디언스 및 광고 로그를 차질 없이 처리해 왔습니다. 하지만, 서비스 영역이 글로벌 및 AI 분야로 급격히 확장됨에 따라 미래 지향적 관점에서 다음과 같은 고도화 포인트를 검증하고자 했습니다.

• 워크로드 독립성 및 자원 격리 검증
  • 대형 고객사 및 동시 다발적인 대용량 분석 쿼리가 발생하는 환경에서, 서비스별·고객사별 컴퓨팅 자원을 완벽히 물리적으로 분리하여 원천적으로 리소스 간섭이 없도록 보장하는 구조를 검증했습니다.

• 메타데이터 및 파티셔닝 관리 자동화
  • 대규모 실시간 수집 로그 특성상 정기적으로 발생하는 파일 병합(Compaction)과 파티션 탐색 작업을 플랫폼 단으로 흡수(Zero-Management)하여, 엔지니어링 공수를 획기적으로 줄일 수 있는지 확인하고자 했습니다.

• 통합 거버넌스 및 파이프라인 단순화
  • 리전 확장 시 발생할 수 있는 중복 ETL 로직을 플랫폼 내부로 일원화하고, 앱키별·서비스별 비용 귀속을 투명하게 가시화할 수 있는 관리 체계를 마련하고자 했습니다.

3. Solution

Snowflake 네이티브 파이프라인 설계

경IGAWorks는 단순 쿼리 엔진 교체를 넘어 저장소, 컴퓨팅, 메타데이터, AI 연계성까지 통합 관리할 수 있는 플랫폼을 검증 대상으로 삼았습니다. 여러 Dataplatform 솔루션 솔루션 들을 심도 있게 비교 검토 한 결과, IGAWorks는 현재 조직 구조와 기술 과제에 가장 적합한 Snowflake를 최종 선정했습니다.

Snowflake 최종 선정 이유

• Vi Virtual Warehouse 기반 워크로드 격리: 고객사 및 서비스별 컴퓨팅 자원을 독립적으로 분리하여 리소스 간섭 원천 차단

• 투명한 비용 귀속 및 자동 통제: Resource Monitor 기반 한도 설정 및 자동 차단, Query Tagging을 통한 앱키별 비용 추적

• Zero-Management 파티셔닝: 마이크로 파티셔닝 및 자동 최적화 기능을 제공하여 수동 파일 정리/튜닝 업무를 플랫폼 단으로 흡수

• SQL 중심 역량 활용: 기존 Athena 기반 약 639개 분석 쿼리 템플릿 자산을 원활하게 전환 목표

Snowflake 네이티브 아키텍처 진화

MegazoneCloud는 “Snowpipe + Stream + Task + Stored Procedure(SP) 중심 설계로 외부 컴퓨팅 서비스 130여 개를 Snowflake 네이티브 환경으로 원활히 대체할 수 있는가”를 핵심 가설로 설정하고 PoC를 수행했습니다.

·        Snowpipe 기반 자동 수집 단일화: S3 이벤트 기반으로 10개의 Snowpipe가 즉시 데이터를 자동 적재하도록 구성하여, 기존 청크 및 수집 이벤트를 처리하던 외부 워커 체인을 대폭 단순화했습니다.

·        플랫폼 내 상태 추적 및 스케줄링 완결: 외부 인프라 레이어 없이 Snowflake 내부의 Stream(상태 변경 추적), Task(스케줄링), Stored Procedure(비즈니스 로직)만을 결합하여 실시간 데이터 집계 및 배치 ETL을 완결 지었습니다.

·        CDC 파이프라인 3-Layer 구조화: DynamoDB CDC 데이터를 Raw CDC, Latest State, Wide Table 3단계 연쇄 레이어로 구성하여 데이터 갱신 리드타임을 대폭 단축했습니다.

4. Result

PoC 핵심 검증 결과

Snowflake, MegazoneCloud와 IGAWorks가 진행한 PoC 검증 결과, 기술 목표로 설정한 Critical/High 항목을 모두 통과하며 차세대 데이터 플랫폼으로서의 우수한 성능과 확장성을 입증했습니다.

[참고] 아래 성과 지표는 IGAWorks의 실제 운영 데이터 기반으로 진행된 PoC 시뮬레이션 측정 결과입니다.

• 대용량 파일 수집 및 안정성 (유실률 0%)
  • 주당 약 19억2천만 개(약 3.3TB) 규모의 파일 수집 검증 결과, 데이터 유실 0건을 기록하였으며 Snowpipe를 통해 빠른 수집 속도와 안정성을 확보했습니다.

• DDL 반영 및 스키마 진화(Schema Evolution) 단축
  • 신규 분석 컬럼 추가 시 VARIANT 타입 랜딩 및 내부 SP 동기 처리를 활용해 DDL 반영 프로세스를 기존 수 분에서 약 5초 수준으로 단축시켰으며, 복잡했던 외부 처리 파이프라인을 1개의 내부 SP 프로세스로 단순화했습니다.

• 대용량 User Profile 연산 SLA 충족
  • 4,470만 row, 978개 컬럼 규모의 대형 Wide Table 피봇 작업 시 메모리 부족(OOM) 현상 없이 처리 시간을 기존 대비 50% 이상 단축시켰으며, 목표 SLA(30분)를 상회하는 20분 이내 처리를 달성했습니다.

• 인프라 구조 효율화 (파이프라인 A PoC 검증 기준)
  • 외부 컴퓨팅 인프라의 일부 기능을 Snowflake 네이티브 서비스로 대체하여 ECS, EC2, Lambda, SQS 등 외부 인프라 리소스 규모를 효율적으로 축소할 수 있음을 확인했습니다.

• 하이브리드 테이블 전략 및 거버넌스 확보
  • Raw/Clean 레이어에는 외부 접근성이 우수한 Iceberg Table을, 포인트 룩업 조회가 많은 서빙 레이어에는 Native Table을 배치하는 하이브리드 전략을 도출했습니다. 또한 Query Tagging 기반으로 앱키별 정확한 비용 추적이 가능한 거버넌스를 정립했습니다.

향후 계획(Future Plan)- AI 워크로드 대응을 위한 데이터 플랫폼 고도화

IGAWorks는 대규모 소비자 행동 데이터를 기반으로 고객을 이해하고 미래 행동을 예측하는 Synthetic Consumer Intelligence(SCI) 기술을 고도화하고 있습니다.

SCI와 같은 AI 기술이 발전할수록 더 많은 데이터를 빠르게 처리하고 분석하는 역량과 함께, 증가하는 AI 워크로드를 안정적으로 수용할 수 있는 데이터 인프라의 중요성도 커지고 있습니다.

이번 PoC를 통해 IGAWorks는 Snowflake가 기존 대규모 데이터 처리 환경의 성능과 안정성을 충족하면서, 향후 AI 워크로드 확대에 대응할 수 있는 데이터 플랫폼으로 활용될 가능성을 확인했습니다.

IGAWorks는 이번 검증 결과를 바탕으로 실제 서비스 환경에서 Snowflake의 적용 범위를 단계적으로 검토하고, SCI를 비롯한 AI 기반 데이터 서비스 확대에 필요한 데이터 인프라를 지속적으로 고도화해 나갈 계획입니다.

마무리하며

이번 프로젝트는 기존에 대규모 데이터를 성공적으로 운영해 온 IGAWorks의 데이터 플랫폼 자산을 바탕으로, AI 시대에 발맞춘 차세대 데이터 아키텍처의 가능성을 입증한 성공적인 기술 PoC였습니다.

MegazoneCloud는 아키텍처 설계부터 기술 검증, 운영 모델 수립까지 전 과정의 파트너로서 함께했습니다. IGAWorks는 이번 PoC 결과를 바탕으로 향후 서비스별 단계적 마이그레이션과 운영 고도화를 검토할 예정이며, AI 활용과 데이터 거버넌스 영역에서도 경쟁력을 계속해서 강화해 나갈 것입니다.

공유하기