[reinvent 2024] Amazon FSx 인텔리전트 계층화: 완전히 탄력적인 새로운 파일 저장 클래스

들어가며

평소 Storage에 대한 관심이 많았던터라 직접 다루기는 힘들지만 간접적으로 FSx Storage에 대하여 어떤 다양한 기능들이 있는지 궁금해서 세션에 참석하게 되었습니다. 세션 제목 그대로 AWS가 FSx에 대해 Intelligent-Tiering 기능을 어떠한 이유에서 고객 니즈를 충족하기 위해 기능을 출시했는지 추가적으로 FSx에 대해 상세히 알아볼 수 있는 기회가 될 것 같아서 세션에 참여하였습니다.

FSx의 특징에 대해

오늘날 EFS를 포함한 다양한 AWS Storage를 사용하고 있으실텐데요 이번 세션을 통해 FSx에 대해 상세히 알아보는 시간을 가졌고 이를 전달해드리고자 합니다. 

FSx란 무엇일까요?  FSx는 클라우드 환경에서 완전 관리형 네트워크 파일 스토리지를 제공하며 온프레미스의 NAS 파일 시스템과 동일한 기능을 제공됩니다. 이를 통해 애플리케이션을 재구성하거나 WorkFlow를 재설계할 필요 없이 데이터를 AWS로 마이그레이션할 수 있습니다. 아래 그림을 통해 다양한 사례를 확인 할 수 있습니다.

FSx는 또한 ‘Amazon EFx Intelligent-Tiering storage class’ 를 통해 아래 보시는 것처럼 세가지 특징을 보여주고 있으며 각 단계별 간단 요약 설명 드리겠습니다.

1. 완전히 탄력적이기에 저장하는 데이터의 양에 따라 파일 시스템이 자동으로 확장 및 축소됩니다.
2. 액세스 패턴에(덜 자주 접근되는 데이터를 자동으로 저비용 계층으로 이동시키는 것을 의미합니다) 따라 데이터를 계층화하여 자동으로 비용을 최적화 하기때문에 데이터를 장기적으로 보다 비용 효율적으로 보관할 수 있으며 필요할 때 해당 데이터에 접근할 수 있습니다.
3. FSx SSD보다 최대 85% 저렴한 비용 및 HDD 기반 NAS 배포보다 20% 저렴한 비용을 보여줍니다.

FSx for Open ZFS란

앞서 FSx에 대해 간단히 살펴보았습니다. 이번에는 ‘Amazon FSx for OpenZFS’에 대해 알아보고자 합니다.

FSX for OpenZFS의 주된 목적은 OpenZFS 기반 파일 시스템에서의 마이그레이션을 지원하기 위함이었습니다. 

그러나 실제로 고객들은 다양한 오픈 소스 NAS 파일 시스템과 상용 NAS 솔루션에 저장된 데이터 세트의 대상 플랫폼으로도 이 서비스를 선택하고 있으며 고객들이 FSX for OpenZFS를 선택한 이유는 아래 사진을 통해 세가지 분류로 확인할 수 있습니다.

1. OpenZFS는 다양한 NAS 기능을 제공하므로 온프레미스에서 다른 솔루션을 사용하던 고객들은 이전에 했던 모든 작업을 FSX for OpenZFS에서도 수행할 수 있습니다. 
2. FSX for OpenZFS의 SSD 기반 파일 시스템과 OpenZFS가 자체적으로 고성능을 위해 설계되었기 때문에 높은 성능이 필요했던 일부 고객들의 요구사항을 충족할 수 있습니다.
3. FSx for OpenZFS는 라이선스 비용이 없으며 이를 사용함으로써 상용 라이센스가 필요한 솔루션에 비해 30% 이상의 향상된 가격 대비 성능을 제공합니다.

저는 위 부분들로 인해 고객들은 왜 FSX for OpenZFS를 다양한 사용 사례와 산업 분야에서 적극적으로 활용할 수 있는지 알 수 있었습니다.

강연자는 또 다른 예로 반도체 전자 설계 자동화(EDA)와 같은 성능 집약적인 워크로드를 위해 FSX for OpenZFS를 사용하면 서브 밀리초 지연 시간, 높은 처리량 및 높은 수준의 IO 작업을 통해 시뮬레이션을 더 빠르게 완료할 수 있게 한다고 부연 설명 하였습니다.

이로서 NAS 기능이 필요하면서도 높은 성능을 요구하는 고객에게 적합하다는 것을 다시 한번 알 수 있었습니다.

FSx의 직면한 문제

위에서 설명한 FSx 부분들은 기능의 소개 및 장점에 대한 내용만 담았었습니다. 하지만 제공하는 기능이 많다면 해결해야할 문제점도 명확히 발생됩니다.  아래 사진을 통해 해당 부분들을 설명드리겠습니다.

1. 데이터 세트의 성장은 예측 불가능하기 때문에 용량 측정이 어렵습니다.
2. NAS 데이터 세트들이 최근에는 AI의 추세로 인해 더욱 빠르게 성장하고 있습니다. 
3. 페타바이트 규모의 데이터 세트를 HDD 또는 하이브리드 SSD-HDD 배포로 온프레미스에 저장하는 경우 비용 부담이 큽니다.

강연자는 위 세 가지 과제를 염두에 두고  고객에게 이미 제공하고 있던 것을 다시 살펴보고 대규모 성장 데이터 세트를 해결하기 위해 추가로 제공해야 하는 기능을 고려했다고 합니다. 이로서 “FSX for OpenZFS – Intelligent Tiering” 를 출시하였습니다.

FSX for OpenZFS – Intelligent Tiering 출시

이 새로운 스토리지 클래스를 통해 FSx for OpenZFS는 네트워크 연결 스토리지의 기능을 완전히 탄력적이고 지능적으로 계층화된 저비용 스토리지와 결합하게 되었습니다.

마치 Amazon S3와 마찬가지로 새로운 스토리지 클래스는 데이터를 추가하고 삭제함에 따라 자동으로 확장되고 축소되어 스토리지 용량을 관리할 필요가 없고 사용하지 않는 스토리지에 대해 비용을 지불하지 않아도 됩니다.

또한 S3의 Intelligent Tiering 스토리지 클래스와 마찬가지로 이 새로운 FSx 스토리지 클래스는 데이터를 스토리지 계층 간에 자동으로 이동시켜 비용을 최적화하고 이는 비활성 데이터의 저장을 더 오래 유지하면서도 비용을 절감할 수 있게 해줍니다.

S3와 마찬가지로 Intelligent Tiering은 데이터가 30일 또는 90일 동안 접근되지 않으면 자동으로 접근이 빈번하지 않은 아카이브 계층으로 이동하게 되고 모든 데이터는 계층에 상관없이 밀리초 단위의 지연 시간으로 항상 즉시 검색 가능합니다.

각 계층의 스토리지는 완전히 탄력적이어서 파일 시스템 크기를 선택하거나 스토리지 활용도를 조정할 필요가 없으며 실제로 저장하는 데이터 양에 대해서만 비용을 지불합니다.

또한 최근에 접근된 데이터를 빠르게 읽을 수 있도록 선택적으로 SSD 읽기 캐시를 프로비저닝할 수 있습니다.

이는 지연 시간이 민감하거나 IOPS 집약적인 워크로드에 유용합니다.

간단히 설명드리자면 만약 데이터 세트의 일부는 활성 사용 중이고 나머지 데이터는 일반적으로 콜드한 상태라면 활성 데이터는 캐시에 저장되기 때문에 모든 쓰기 작업과 대부분의 읽기 작업은 SSD 지연 시간으로 처리되지만 대부분의 데이터는 Intelligent Tiering의 가장 저렴한 계층에 저장되어 전체적으로 낮은 비용을 유지할 수 있습니다. 이렇게 하면 높은 성능과 Intelligent Tiering의 저비용을 동시에 누릴 수 있습니다.

이로서 FSx와 특징과 장점, 직면한 문제에 대한 해결을 위해 AWS에서 많은 고민을 하였고 FSX for OpenZFS의 새로운 Intelligent Tiering 스토리지 클래스를 출시함에 따라 고객의 요구사항을 개선하는데 많은 노력을 들였던 부분을 알 수 있었습니다.

결론

FSX for OpenZFS의 Intelligent Tiering 스토리지 클래스는 높은 성능과 비용 효율성을 동시에 제공하며 대규모 NAS 데이터 세트를 클라우드로 이전하려는 고객에게 이상적인 솔루션이라고 설명합니다.

이번 세션을 통해 비용부담을 줄이고 장기간 데이터를 보관할 수 있는 등 간단해 보이지만 AWS에서는 이러한 문제점을 해결하기 위해 비용 및 성능적으로도 많은 고민을 하였던 부분을 알 수 있었습니다.

다소 생소한 FSx for OpenZFS에 대해 들여다 볼 시간이 없었지만 이번 세션으로 조금이나마 더 알게 된 좋은 기회였던것 같습니다.