[reinvent 2024] Amazon S3의 새로운 기능

들어가며

Amazon S3 Tables

주요 특징

• 최대 10배의 TPS 증가와 3배의 쿼리 성능 향상
• 테이블 수준에서 IAM 정책 및 보안 설정 가능
• 데이터 자동 압축 및 가비지 컬렉션 지원

Amazon S3 Metadata

활용 사례

1. 데이터 객체 찾기
   – SQL 쿼리를 통해 필요한 오브젝트를 손쉽게 검색할 수 있습니다.
   – 기존의 복잡한 로그 처리나 데이터 검색 프로세스를 간소화하여 효율적으로 특정 데이터를 찾는 데 유용합니다.
   
   
2. 데이터 계보(Data Lineage) 분석
   – 특정 데이터 세트가 시간 경과에 따라 어떻게 변경되었는지 추적할 수 있습니다.
   – SQL 쿼리를 통해 이전 스냅샷과 현재 상태를 비교하여 데이터 변경의 원인과 영향을 분석 가능.
   
   
3. 스토리지 사용량 분석
   – SQL 쿼리를 사용하여 S3 스토리지 사용량에 대한 상세 정보를 확인할 수 있습니다.
   
   
4. 커스텀 메타데이터 통합
   – 오브젝트 태그 또는 사용자 정의 메타데이터를 통해 데이터를 확장할 수 있습니다.
   – 이 기능을 활용하면 비즈니스 요구사항에 따라 맞춤형 필드를 추가하여 데이터를 더욱 유용하게 관리 가능.

 S3 Express와 성능 향상 기술

S3 Express One Zone의 주요 기능

1. 빠른 읽기 속도
   – 기존 S3 표준 대비 최대 10배 빠른 읽기 속도 제공
   – 단일 디지털 밀리초(ms) 수준의 지연 시간을 유지하여 성능 민감형 애플리케이션에 최적화
   
   
2. 비용 절감
   – 요청당 비용을 50%까지 절감, 고빈도 데이터 액세스 애플리케이션에서 경제적
   
   
3. 머신러닝 최적화
   – S3 Express One Zone과 Amazon SageMaker 통합을 통해 최대 5.8배 성능 향상
   – ML 훈련 데이터 로딩 및 처리 시간 단축
   
   
4. 미디어 콘텐츠 생성 지원
   – 대규모 비디오 파일 처리 및 실시간 렌더링 환경에서 효율적
   
   
5.  실시간 데이터 분석
   – 실시간 분석 워크로드에 필요한 고속 데이터 접근 및 처리 지원

결론