[reinvent 2024] 파일 스토리지의 새로운 기능
Summary
Amazon 파일 스토리지 서비스는 기업 고객과 스토리지 관리자가 파일 데이터를 보다 효과적으로 관리할 수 있도록 지원하는 혁신을 지속적으로 제공합니다. 파일 데이터 접근성을 향상시키고 최신 클라우드 애플리케이션과의 통합을 위해 설계된 최신 기능에 대해 살펴보세요. Amazon EFS와 Amazon FSx의 공유 파일 스토리지가 컴퓨팅 집약적이고 데이터 집약적인 워크로드의 요구를 충족하기 위해 어떻게 진화하고 있는지 알아보세요. 스토리지 최적화, 데이터 접근성 개선, 증가하는 엔터프라이즈 애플리케이션 수요 지원에 대한 실행 가능한 인사이트를 알아보세요. Amazon FSx 및 Amazon EFS의 최첨단 기능을 통해 비즈니스를 발전시켜 보세요.
리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
평소에도 AWS의 Storage 기능들을 흥미롭게 바라보고 있었습니다. 데이터를 안전하고 보관하고 어떻게 활용도 있게 사용하는 방법도 중요하지만 당연히 흥미로운 부분은 새로운 기능의 출시입니다. 이번 세션은 File Storage의 새로운 기능에 대한 내용으로 어떠한 기능들이 출시가 되었고 고객들의 요구조건을 만족시켜주었는지 궁금해서 세션을 신청하게 되었습니다.
AWS Storage에 대해 얼마나 관심있게 기능들을 살펴보고 잘 활용하고 있으신가요?
이번 세션을 통해 올해 발표된 Storage 내용들과 함께 Amazon EFS Amazon ESx에 관한 주제로 소개해드리려고 합니다.
Amazon Storage의 3가지 패턴
먼저 AWS 파일 스토리지 솔루션이 지원하는 세 가지 주요 사용 패턴에 대해 말씀드리겠습니다.
이 패턴은 기존 온프레미스 환경에서 사용하던 NAS와 유사한 기능을 클라우드에서 제공합니다.
기업은 기존 애플리케이션을 재구성하거나 워크플로를 변경하지 않고도 AWS로 전환할 수 있습니다.
2) 대규모 데이터 처리와 같은 컴퓨터 집약적인 워크로드를 지원하기 위한 패턴입니다.
이 패턴은 고성능 스토리지가 필요한 고성능 컴퓨팅(HPC) 및 AI/ML 과 같은 집약적 워크로드를 필요로 하며 FSx for Lustre를 통해 처리됩니다.
3) 클라우드 기반 애플리케이션의 파일 공유를 지원하기 위한 패턴입니다.
간단한 클라우드 파일 공유가 필요한 애플리케이션과 개발자를 위해 설계된 Amazon EFS가 있습니다.
이 패턴은 간편하고 유연한 파일 스토리지 솔루션을 제공합니다.
AWS 파일 스토리지의 패턴에 대해 알아보았는데요 각 패턴의 활용 사례를 통해 조금 더 상세히 알아보겠습니다.
1) Amazon FSx
Amazon FSx는 기업이 온프레미스 NAS 환경을 클라우드로 쉽게 이전할 수 있도록 설계되었습니다.
NetApp ONTAP, Windows File Server, Linux 기반 파일 서버 기능을 제공하며 이를 통해 클라우드의 유연성과 확장설을 활용하면서도 기존 시스템을 유지할 수 있습니다.
2) Amazon FSx for Lustre
Amazon FSx for Lustre는 컴퓨팅 집약적 작업을 위한 고성능 파일 시스템으로 사용 사례로는 아래 사진에 나와있는 것과 같이 HPC, ML, Big Data 분석 등에 활용 될 수 있습니다.
3) Amazon EFS
Amazon EFS는 개발자를 위해 스토리지 구성을 걱정할 필요 없이 작동하는 간단한 스토리지를 제공합니다.
EFS는 컴퓨팅 EC2 인스턴스, Container, Serverless 함수와 통합되며 저비용 스토리지 옵션을 통해 비용을 최적화합니다.
What’s new with file storage
이제 이번 세션에서 가장 중점으로 살펴보아야 할 새로운 기능들에 대해 알아보고자 합니다.
위에서 설명드렸던 세 가지 영역에서 AWS는 지난 1년간 20개 이상의 기능을 출시했으며 평균적으로 약 2주에 한 번씩 새 기능을 출시하였다고 합니다. 아래 사진을 보시면 어떠한 기능들이 출시되었는지 한 눈에 보실 수 있습니다.
AWS는 고객들에게 앞서 언급한 세 가지 Storage 영역에 대해 지속적으로 투자하고 있음을 강조하였습니다.
1) 데이터가 증가함에 따라 데이터를 효율적으로 관리하고 비용과 복원력을 관리할 수 있도록 돕는 것
2) 애플리케이션 성능 요구가 증가함에 따라 스토리지 성능과 확장성을 지속적으로 개선하는 것
3) 고객이 직접 관리할 필요 없이 복원력, 규정 준수, 고가용성을 자동으로 제공하는 것
앞으로 설명드리는 새로운 기능들에 대해 AWS는 어떠한 중점을 우선시 하였는지 알 수 있었습니다.
FSx의 새로 출시된 기능
FSx는 고객이 온프레미스에서 사용하던 네트워크 스토리지를 클라우드로 이전할 수 있도록 다양한 NAS 기능을 제공하고 FSx for OpenZFS는 ZFS와 같은 온프레미스 스토리지를 대체할 뿐 아니라 다른 오픈소스나 상용 NAS 데이터 세트를 클라우드로 이전하는 데도 사용된다고 말이죠
OpenZFS는 스냅샷, 복제 등 NAS 필수 기능을 제공하며 고성능과 낮은 지연 시간을 제공합니다.
아래 사진에서 보시는 것처럼 오픈소스 기반으로 상용 솔루션보다 30% 이상의 비용 효율성의 장점이 있습니다.
하지만 여전히 AWS 고객들은 비용 문제와 개선 필요성을 지속적으로 요청하고 있으며 대규모 데이터 세트가 증가함에 따라 이러한 문제를 신속히 해결하기 위해 더 나은 솔루션이 필요했습니다.
여기서 고객들의 요구 사항은 어떠한 부분들이 있었을까요?
고객들은 데이터를 더 오랫동안 보관을 원하며 생성형 AI, 머신러닝, 데이터 분석, 시각화 등 새로운 기술로 데이터를 처리하기를 원했습니다. 이에 따라 비용 최적화와 데이터 확장을 효과적으로 관리하는 것이 점점 중요해지게 되었고 데이터 확장을 예측하기 어려운 환경에 대한 문제도 존재했었습니다.
이에 AWS는 기존에 제공하던 강력한 네이티브 스토리지 서비스(S3, EFS 등)의 장점을 FSx for OpenZFS와 결합한 FSx Intelligent Tiering Storage Class를 출시했습니다. 이 새로운 스토리지는 탄력성과 저비용으로 스토리지 용량을 사전에 프로비저닝할 필요 없이 데이터가 증가하거나 감소할 때 자동으로 조정되도록 합니다.
아래 보시는것처럼 FSx Intelligent Tiering Storage Class는 데이터를 접근 빈번도에 따른 아카이브 계층으로 자동 분류하는 방식으로 대규모 데이터 세트를 클라우드로 옮겨 더 많은 데이터를 쉽게 활용할 수 있습니다.
비용은 데이터가 저장된 계층에 따라 매달 청구되며 기존 FSx에서는 IOPS를 사전에 설정해야 했지만 Intelligent Tiering은 탄력적인 방식으로 설정이 필요하지 않습니다.
다음은 FSx for Lustre에 대한 출시 기능을 알아보겠습니다.
FSx for Lustre의 새로 출시된 기능
아래 보시는 것처럼 FSx for Lustre는 메타데이터 IOPS를 스토리지 용량과 분리하여 프로비저닝할 수 있는 기능을 제공하게 되었습니다. 이를 통해 최대 15배 높은 메타데이터 IOPS를 지원하며 고성능 애플리케이션에서 CPU 활용률을 최적화하고 리소스 할당 비용을 절감할 수 있습니다.
또한 AWS는 FSx for Lustre의 성능을 가속화하기 위해 Elastic Fabric Adapter(EFA)와 NVIDIA GPU Direct 기능을 발표했습니다. 이 두 기능은 GPU 인스턴스에서 인스턴스당 처리량을 최대 12배까지 증가시키며 AI/ML 훈련 작업을 더 빠르게 완료하고 비용을 절감할 수 있도록 지원합니다.
1) 단일 HA가 프로비저닝되고 해당 성능과 함께 사용하는 스케일 업 파일 시스템
2) 2~12개의 HA 쌍을 프로비저닝하여 처리량이나 성능이 더 필요한 경우 사용하는 스케일 아웃 파일 시스템
과거에는 배포 전에 사용할 모드를 결정해야 했으며 애플리케이션을 배포할 때 미래 요구사항을 예측하고 이에 맞는 크기로 스케일 아웃 파일 시스템을 구성해야만 했습니다.
이에 2024년 8월 9일 GEN2 FSXN 파일 시스템을 출시했습니다.
또한 HA당 더 높은 처리량과 성능을 추가하여 처리량을 4Gbps에서 6Gbps로, IOPS를 160,000에서 200,000으로 확장했습니다.
이어서 EFS 의 새로 출시된 기능에 대해 알아보겠습니다.
EFS의 새로 출시된 기능
이러한 요구사항을 해결하기 위해 Amazon은 Elastic Throughput을 출시했습니다.
고객이 사전에 처리량을 설정하고 조정할 필요 없이 자동으로 처리량을 확장하며 실제로 사용한 처리량에 대해서만 비용을 지불하면 됩니다.
이에 FSX for OpenZFS의 새로운 기능은 SSD 저지연 환경에서 완전 탄력적인 데이터 관리 옵션을 제공합니다.
Hyper 구성에서는 단일 AZ 파일 서버와 다중 AZ HA 솔루션이 제공됨에 따라 다중 AZ HA 모드는 데이터를 두 AZ 간에 동기적으로 복제하며 높은 가용성을 제공합니다.
다중 AZ HA 모드는 대부분의 HA 워크로드를 지원하지만 더 높은 지연 시간과 저장 비용이 발생하였고 고객들은 낮은 지연 시간과 더 낮은 비용으로 고성능 워크로드를 지원하는 HA 옵션을 요청했습니다.
2024년 8월 9일 FSX for OpenZFS에 단일 AZ HA 배포 모드를 출시했습니다.
이 모드는 단일 스토리지 세트와 연결된 HA 파일 서버를 제공하며 데이터가 두 AZ에 복제되지 않기 때문에 추가 복제 비용이 없습니다. 따라서 고가용성과 낮은 지연 시간이 중요한 고객 워크로드에 적합합니다.
이로서 Storage의 3가지 패턴과 이에 따른 각 Storage의 설명, 출시된 기능들을 살펴보았습니다.
결론
AWS는 EFS, FSx for Lustre, FSx for OpenZFS를 통해 다양한 워크로드를 지원하며 성능, 확장성, 비용 효율성을 지속적으로 개선하고 있습니다. 새로 출시된 기능들은 매우 흥미로웠으며 Storage에 대한 고객의 요구사항을 최대한 개선을 해주는 것 뿐만 아니라 비용적으로도 최적화 하려는 부분에 대해 많은 노력을 하고 있음을 알 수 있었습니다.
약 2주마다 새로운 기능들을 출시하고 있다는 부분에 대해 이토록 다양한 기능들이 있었는데 놓치고 있던 기능들이 많지는 않았는지, 활용할 수 있는 부분이 없었는지 다시 한번 되짚어보게 되었습니다.