[AWS SUMMIT 2025] Splunk, GenAI, S3, Security Lake로 데이터 가치 극대

들어가며

Splunk, GenAI, S3, Security Lake로 데이터 가치 극대

🎙️김현준 전무, Splunk Korea

🗂️ 세션 토픽: 애플리케이션 및 비즈니스 현대화

이번 칼럼에서는 Splunk, GenAI, S3, 그리고 Amazon Security Lake로 데이터 가치 극대화 세션을 듣고 얻은 인사이트를 공유드리고자 합니다.

SIEM 솔루션 중 가장 널리 알려진 제품 중 하나는 단연 Splunk일 것입니다. 그만큼 사용도가 높지만, 동시에 높은 비용이 고민되는 솔루션이기도 합니다. 본 세션에서는 Splunk를 계속 활용하면서도 비용 효율성을 높이고 데이터 가치를 극대화할 수 있는 방안을 중심으로 소개되었습니다.

Amazon Security Lake

세션 내용을 설명드리기에 앞서, AWS Summit인 만큼 먼저 언급될 AWS 서비스인 Amazon Security Lake를 간단히 소개드린 후 본 세션 내용으로 넘어가겠습니다.

Amazon Security Lake는 AWS에서 제공하는 보안 데이터 레이크 서비스로, 다양한 보안 서비스에서 발생하는 데이터를 수집하고 OCSF (Open Cybersecurity Schema Framework) 형식으로 변환하여 저장합니다.

OCSF (Open Cybersecurity Schema Framework)

보안 데이터의 공통 포맷을 정의한 오픈 스키마로, 보안 서비스 및 솔루션 간 데이터 호환성을 높여주는 역할을 합니다.
Amazon Security Lake의 기본 데이터 형식으로 채택되어 있으며, 데이터 통합 및 분석 효율을 크게 향상시킬 수 있습니다.

관련해서 더 상세한 내용이 궁금하시다면 저희 메가존클라우드 보안 그룹에서 소개하는 Amazon Security Lake와 OCSF에 대한 설명을 담은 블로그를 확인 부탁드립니다.

Amazon Security Lake로 AI 기반 보안 위협을 줄일수 있을까?

[메클레터 4월호] Amazon Security Lake로 AI 기반 보안 위협을 줄일 수 있을까?

AWS Security Lake_OCSF v1.1 소개

[Tech blog] AWS Security Lake_OCSF v1.1 소개

효율적인 데이터 관리 및 스토리지 전략

전 세계 데이터 생성량은 매년 빠르게 증가하고 있으며, Deloitte는 2025년까지 175 제타바이트에 이를 것으로 전망하고 있습니다. 하지만 이렇게 방대한 데이터를 Splunk와 같은 분석 플랫폼에서 모두 처리하고 저장하기엔 비용 측면에서 비현실적일 수 있습니다.

Splunk는 실시간 모니터링과 예방 탐지가 필요한 데이터는 플랫폼 내에서 분석하고, 분석 우선순위가 낮은 데이터는 별도로 처리하여 저비용 스토리지(S3 등)로 전송하는 구조를 제시합니다.
데이터소스로부터 데이터를 전송하는 과정에서 filtering, Masking, Enrich 등의 전처리 작업을 수행해 데이터 볼륨을 줄이는 방식입니다.

데이터 비용 절감을 위한 아키텍처 전략

Splunk는 라이선스 및 클라우드 스토리지 요금제를 통해 비용을 조절할 수 있지만, 본 세션에서는 특히 수집(GDI) 단계에서의 효율화와 연합 검색(Federation) 기능을 통한 비용 절감 방안을 중점적으로 다뤘습니다.

GDI(Get Data In) 관련 기능 요약

Advanced Forwarding
Heavy Forwarder를 통해 설정 파일 기반으로 필터링 및 드롭 등 데이터 처리 작업 수행.

Ingest Action
GUI 환경을 통해 간편하게 데이터 처리 작업 수행.

Edge Processor
Edge 단에서 데이터를 전처리하고, Splunk Cloud에서 중앙 제어 가능

Ingest Processor
로그를 메트릭으로 변환하는 등 데이터 타입 전환 및 전체 데이터 관리 기능이 Splunk Cloud에서 통합 제공됨.

연합 검색(Federation)

S3 연합 분석
S3에 저장된 데이터를 Splunk에서 원격 검색 후 결과만 가져오는 방식으로, 모든 데이터를 Splunk로 인제스트할 필요 없이 인제스트 비용 절감 가능.
주로 과거 로그 분석 등 보존 기간이 긴 데이터 분석에 적합.

Amazon Security Lake 연합 분석
최근 새롭게 추가된 기능으로, Splunk ES(Enterprise Security)에서 Security Lake에 저장된 OCSF 형식의 데이터를 원격 분석 가능.
이를 통해 실시간에 가까운(준실시간) 위협 탐지가 가능하며, Splunk로 직접 인제스트하지 않고도 데이터를 효율적으로 활용할 수 있음

AI 활용 방안

전통적 머신러닝 및 딥러닝
이상 탐지, 장애 예측, 미탐 위협 분석 등 다양한 예측 분석 수행/

AI Assistant
SPL 지원, 옵저버빌리티 클라우드 분석, SIEM 운영 가이드 제공 등, 운영자의 업무 생산성 극대화 지원.

마무리하며

이번 세션을 통해 Splunk가 사용자 입장에서 비용 효율화와 데이터 분석의 효율성을 높이기 위해 다양한 기능과 전략을 지속적으로 개발하고 제시하고 있다는 점이 인상 깊었습니다.

기존에 Splunk 기반 데이터 분석을 고민하셨던 분들은, AWS S3 및 Amazon Security Lake의 연합 분석 기능을 통해 보다 비용 효율적인 데이터 운영 방안을 검토해보시길 추천드립니다.

향후에는 OCSF 기반의 데이터 분석 관점에서, Amazon Security Lake를 비롯한 다양한 보안 서비스와 더불어, 멀티클라우드 통합 보안 분석등을 다루는 심화 세션이 진행되기를 기대합니다.

글 │메가존클라우드, Security Business Center(SBC), Cloud Security Advisory Team, 우대식 Manager