[reinvent 2024] 하이브리드 환경에서 AWS를 통한 보안 분석 가속화

들어가며

세션의 아젠다는 아래와 같습니다.

위 화면은  보안 데이터 분석 시 직면하는 여섯 가지 주요 도전 과제를 보여주며 서론을 시작했습니다. 다양한 소스에서의 데이터 수집과, 관리부터 보안 이슈의 신속한 해결까지 보안데이터 분석의 포괄적인 문제를 언급했습니다. 특히 데이터 파이프라인 관리의 복잡성과 비용 효율적인 데이터 접근성의 균형이 핵심 과제로 강조했습니다.

Amazon OpenSearch Service와 Amazon Security Lake의 zero-ETL 통합은 보안 로그와 이벤트를 효율적으로 처리하는 완전한 파이프라인을 제공합니다.

Open Cybersecurity Schema Framework를 통해 데이터를 표준화하고, Amazon Security Lake에서 관리한 후, zero-ETL 통합을 통해 Amazon OpenSearch Service로 전달됩니다.

이 통합의 핵심 장점은 복잡한 데이터 파이프라인을 제거하면서도 강력한 현장 검색, 온디맨드 인덱싱, 사전 구축된 분석 기능을 즉시 활용할 수 있다는 점입니다.

최종적으로 고급 분석과 시각화를 통해 보안 인사이트를 얻을 수 있는 완벽한 워크플로우를 제공합니다.

파이프라인은 6단계로 구성되어 있으며, 보안 로그 수집부터 고급 분석까지 원활하게 연결됩니다. 이를 통해 복잡한 프로세스 없이도 신속하게 보안 데이터를 분석하고 인사이트를 도출할 수 있습니다.

Security Lake와 OpenSearch 통합의 6가지 핵심 장점을 설명하고 있으며 아래와 같습니다.

1. 데이터 중앙화 – AWS 소스, 계정, 지역 및 서드파티 데이터를 단순화된 방식으로 중앙 집중화
2. 데이터 표준화 – OCSF 스키마를 통한 데이터 정규화로 효율적인 저장 및 쿼리 액세스 보장
3. 직접 데이터 액세스 – OpenSearch에서 별도의 파이프라인 구성 없이 Security Lake 데이터에 직접 접근
4. 완벽한 가시성 – OpenSearch의 현장 쿼리와 온디맨드 인덱싱을 통한 비용 효율적인 데이터 관리
5. 통합 분석 도구 – 실시간 및 이력 데이터 분석을 위한 사전 구축된 쿼리와 대시보드 제공
6. 효율적인 시간 관리 – 데이터 관리 시간을 줄여 보안 이슈 해결에 더 집중 가능

다음은 각 리소스별 특징을 설명해줬으며 먼저 Amazon Security Lake 서비스에 대한 기능설명을 해줬습니다.

Amazon Security Lake의 4가지 주요 특징.

1. 자동 데이터 중앙화: 클라우드, 온프레미스, 커스텀 보안 소스의 데이터를 지역 간 자동 중앙화
2. 데이터 최적화: 효율적인 저장과 쿼리 성능을 위한 보안 데이터 관리 및 최적화
3. 유연한 분석: 데이터 소유권과 통제권을 유지하면서 선호하는 분석 도구 사용 가능
4. 표준화: 다양한 분석 도구와의 쉬운 공유/사용을 위한 오픈 표준 데이터 정규화

OCSF(Open Cybersecurity Schema Framework)에 대한 설명도 있었습니다.

1. Linux Foundation 소속
2. 벤더 중립적인 보안 데이터 분류 체계를 제공하는 오픈소스 프로젝트
3. 시간 소모적인 사전 정규화 작업 없이 신속한 데이터 수집/분석 가능
4. OCSF 호환 소스의 데이터를 결합하여 보안팀의 데이터 사일로 해소
5. 현재 200개 이상의 보안 ISV, 정부, 교육, 기업 조직이 참여 중이며 사용 조직이 계속 증가하고 있음.

Amazon OpenSearch Service의 4가지 핵심 기능에 대한 설명도 이어갔습니다.

1. 검색: 초 단위로 관련 보안 이벤트 신속 검색. 대규모 쿼리 지원
2. 분석: 보안 데이터 시각화 및 분석. 안전하고 효율적인 처리
3. 인시던트 대응: 모든 데이터 빠른 연결. 신속한 쿼리와 인사이트 도출
4. 알림: 자동화된 워크플로우로 보안 알림 전송. 사전 구성된 대상으로 전달

위 리소스들의 기술들을 합쳐 Zero-ETL이라고 명명하게 됩니다.

Zero-ETL은 ETL(Extract, Transform, Load) 작업 없이 데이터를 직접 통합하고 분석할 수 있게 하는 기술입니다. Security Lake와 OpenSearch Service 간의 통합에서는 4가지 주요 기능을 제공합니다:

1. 빠른 설정
2. 직접 쿼리 가능
3. 온디맨드 인덱싱
4. 사전 구축된 쿼리/대시보드
   
   

즉, 별도의 데이터 변환 과정 없이 Security Lake의 데이터를 OpenSearch에서 바로 활용할 수 있게 하는 통합 기술입니다.

결론

1. 간단한 설정

Security Lake에서 구독자 생성

OpenSearch Service에서 데이터 소스 생성

자동으로 서버리스 수집 및 대시보드 애플리케이션 생성

2. 사전 구축된 쿼리/대시보드

OCSF 스키마 기반 200+ 사전 구축 쿼리 제공

VPC Flow Logs, WAF logs, AWS CloudTrail 관리 이벤트용 대시보드

3. 현장 쿼리

OpenSearch 데이터 수집 없이 Security Lake 직접 쿼리

Apache Iceberg 덕분에 빠른 쿼리 속도

SQL/PPL로 OCSF 스키마 기반 테이블 조회

4. 온디맨드 인덱싱

OpenSearch Dashboards에서 원클릭 인덱싱

보안 조사 지원 빠른 쿼리

보안 인사이트를 위한 시각화

끝으로, 위 세션을 들으며, Amazon Security Lake와 OpenSearch Service의 Zero-ETL 통합으로, 기업들은 복잡한 데이터 파이프라인 구축 없이도 효율적인 보안 데이터 관리가 가능해질 것으로 기대되었습니다.

또한, OCSF 스키마 표준화와 사전 구축된 쿼리/대시보드를 통해 보안팀의 데이터 분석 시간이 대폭 단축되며, 실시간 보안 위협 대응 능력이 향상될 것으로 보입니다.

결과적으로 이러한 기술 혁신은 조직의 보안 태세를 강화하고 비용은 절감하면서, 보안 전문가들이 실질적인 보안 이슈 해결에 더 집중할 수 있는 환경을 만들어 줄 것입니다.

감사합니다.