[reinvent 2024] Amazon S3의 새로운 기능
Summary
최신 Amazon S3 기능에 대해 알아보고 이러한 기능이 데이터를 보호, 관리 및 최적화하는 데 어떻게 도움이 되는지에 대한 실질적인 인사이트를 얻으세요.
리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
이번 세션을 신청한 이유는 Amazon S3의 최신 기술 발표와 혁신적인 기능들을 통해 클라우드 스토리지 관리와 데이터 처리의 새로운 가능성을 배우고자 했기 때문입니다. 특히, 데이터 분석과 머신러닝, 보안, 그리고 확장성 등 S3가 제공하는 다양한 솔루션이 실제 비즈니스에서 어떤 식으로 활용될 수 있는지에 대해 배우고 싶었습니다.
Amazon S3 Tables
신규 기술인 S3 Tables는 S3에 완전 관리형 Apache Iceberg 테이블을 제공하며, 새로운 테이블 버킷(Table Bucket) 타입을 통해 테이블 중심의 데이터 관리 가능합니다.
주요 특징
- 최대 10배의 TPS 증가와 3배의 쿼리 성능 향상
- 테이블 수준에서 IAM 정책 및 보안 설정 가능
- 데이터 자동 압축 및 가비지 컬렉션 지원
Amazon S3 Metadata
Amazon S3 Metadata는 S3 오브젝트에 대한 21가지 필수 메타데이터 필드를 자동으로 생성합니다. 이러한 메타데이터는 SQL 쿼리를 통해 손쉽게 조회 및 분석할 수 있으며 데이터 관리와 분석 효율성을 크게 향상시킵니다. 메타데이터는 오브젝트 크기, 저장 클래스, 암호화 상태, 클라이언트 정보 등 다양한 정보를 포함하며 이를 통해 데이터에 대한 인사이트를 빠르게 확보할 수 있습니다.
활용 사례
- 데이터 객체 찾기
– SQL 쿼리를 통해 필요한 오브젝트를 손쉽게 검색할 수 있습니다.
– 기존의 복잡한 로그 처리나 데이터 검색 프로세스를 간소화하여 효율적으로 특정 데이터를 찾는 데 유용합니다. - 데이터 계보(Data Lineage) 분석
– 특정 데이터 세트가 시간 경과에 따라 어떻게 변경되었는지 추적할 수 있습니다.
– SQL 쿼리를 통해 이전 스냅샷과 현재 상태를 비교하여 데이터 변경의 원인과 영향을 분석 가능. - 스토리지 사용량 분석
– SQL 쿼리를 사용하여 S3 스토리지 사용량에 대한 상세 정보를 확인할 수 있습니다. - 커스텀 메타데이터 통합
– 오브젝트 태그 또는 사용자 정의 메타데이터를 통해 데이터를 확장할 수 있습니다.
– 이 기능을 활용하면 비즈니스 요구사항에 따라 맞춤형 필드를 추가하여 데이터를 더욱 유용하게 관리 가능.
S3 Express와 성능 향상 기술
S3 Express One Zone은 Amazon S3의 새로운 스토리지 클래스 중 하나로, 단일 가용 영역(AZ) 내에서 데이터를 저장하도록 설계되었습니다. 이는 네트워크 지연 시간을 최소화하고, 높은 처리량과 저비용으로 성능 민감형 워크로드를 지원합니다.
S3 Express One Zone의 주요 기능
- 빠른 읽기 속도
– 기존 S3 표준 대비 최대 10배 빠른 읽기 속도 제공
– 단일 디지털 밀리초(ms) 수준의 지연 시간을 유지하여 성능 민감형 애플리케이션에 최적화 - 비용 절감
– 요청당 비용을 50%까지 절감, 고빈도 데이터 액세스 애플리케이션에서 경제적 - 머신러닝 최적화
– S3 Express One Zone과 Amazon SageMaker 통합을 통해 최대 5.8배 성능 향상
– ML 훈련 데이터 로딩 및 처리 시간 단축 - 미디어 콘텐츠 생성 지원
– 대규모 비디오 파일 처리 및 실시간 렌더링 환경에서 효율적 - 실시간 데이터 분석
– 실시간 분석 워크로드에 필요한 고속 데이터 접근 및 처리 지원
결론
이번 세션을 통해 Amazon S3의 최신 기술들이 제공하는 새로운 가능성과 혁신을 체감할 수 있었습니다. 특히, S3 Tables와 S3 Metadata는 데이터 레이크 및 분석 워크로드에서의 효율성을 크게 향상시킬 수 있는 하이라이트 기능으로 S3의 구조화된 데이터 관리에 대한 새로운 표준을 제시했습니다. 앞으로 이 기능들을 실제 워크로드에 적용하여 더 나은 데이터 관리 및 분석 솔루션을 구현할 수 있을 것으로 기대됩니다.
글 │메가존클라우드, Enterprise Managed Service Center (EMS), Kubernetes Engineering Team, 유태균, 매니저
게시물 주소가 복사되었습니다.
