이 세션은 AWS의 VP Mai-Lan Tomsen Bukovec이 진행한 Analytics Leadership Talk입니다. 분석 세계의 3가지 주요 트렌드인 에이전틱 AI, 오픈 아키텍처, 벡터 스토리지와 고객들이 이를 어떻게 활용하는지 다뤘습니다.
에이전틱 AI와 Spark 업그레이드
에이전틱 AI가 데이터 여정의 모든 단계에서 지원을 제공하고 있습니다. 이번 주에 EMR, Glue, Athena Spark, SageMaker의 새 노트북에서 고도로 최적화된 Spark 3.5.6 엔진을 출시했습니다. 특히 Iceberg를 사용하는 고객들에게 읽기 및 쓰기 성능이 크게 향상되었습니다.
Spark 메이저 버전 업그레이드는 일반적으로 상당한 리팩토링이 필요하지만, AWS는 거의 10년간의 마이그레이션 경험을 AI 어시스턴스에 통합했습니다. Spark 업그레이드 에이전트는 Glue 2.0, EMR on EC2 5.2까지 거슬러 올라가는 초기 버전부터 지원하며, 수천 건의 업그레이드 경험을 기반으로 계획하고 오류를 처리하며 실패를 자동 해결합니다. 이제 몇 달이 아닌 몇 주 안에 업그레이드를 완료할 수 있습니다.
SageMaker 새 노트북
몇 주 전 출시한 새 SageMaker 노트북은 AI 기능이 직접 통합되어 있습니다. SQL, Python 또는 AI 지원이 내장된 자연어를 사용하여 한 곳에서 처리하고 분석할 수 있으며, 완전히 서버리스여서 인프라 관리가 필요 없습니다.
흥미로운 점은 폴리글랏이라는 것입니다. Python과 SQL 셀이 같은 노트북에서 서로 상호 운용됩니다. Python 셀에서 PySpark를 작성하고, SQL 셀에서는 Redshift, Athena, Trino 또는 Snowflake에 대해 쿼리를 작성할 수 있습니다.
Iceberg 테이블 지원
AWS는 Iceberg 지원에 많은 투자를 해왔습니다. S3 Tables부터 Athena, EMR, Redshift까지 모든 분석 서비스에서 Iceberg를 지원합니다. 올해만 Redshift가 37개의 새 기능을 출시했고, Iceberg 읽기 성능을 2배 이상 개선했습니다. 그리고 re:Invent에서 Redshift의 Iceberg 테이블 쓰기 지원을 발표했습니다.
벡터 스토리지의 부상
벡터는 데이터에 시맨틱 의미를 부여하여 보유한 데이터 양에 관계없이 쉽게 검색하고 사용할 수 있게 합니다. 1년 전 AWS는 S3 Vectors 프리뷰를 출시했습니다. 몇 달의 프리뷰 기간 동안 고객들이 10억 건 이상의 쿼리를 실행했습니다. S3에서 이 정도로 빠른 신규 기능 채택은 매우 드뭅니다.
S3가 데이터 레이크에 모든 유형의 데이터를 추가할 수 있게 만든 것처럼, 벡터도 비용 효율적으로 만들고 있습니다. 고객들은 애플리케이션의 모든 측면에서 벡터를 사용할 것이며, 보안, 내구성, 가용성을 걱정할 필요 없이 S3 규모로 벡터 데이터 세트를 확장할 수 있습니다.
사용 사례는 두 가지입니다. 메타데이터 또는 미디어의 시맨틱 이해를 얻는 것과 에이전트 메모리를 확장하는 것입니다. 에이전트 메모리를 확장하려면 더 많은 컨텍스트와 벡터를 추가하면 챗봇이 더 똑똑해지고 인간적이 됩니다. 사람에 대한 컨텍스트, 계정 정보를 벡터화하여 개인화된 응답을 만들 수 있습니다.
OpenSearch에도 많은 AI 기능을 추가했습니다. GPU 가속화로 10억 규모 벡터 데이터베이스를 1시간 이내에 구축하고, 벡터를 10배 빠르게 인덱싱하며, 비용은 1/4로 줄었습니다. OpenSearch Serverless의 GPU 가속화는 완전 서버리스로 GPU 인스턴스를 관리할 필요가 없고 사용한 만큼만 지불합니다.
결론 및 소감
데이터를 다루는 모든 조직은 이제 데이터 위에 시맨틱 레이어(Semantic Layer)를 구축하는 것이 필수적입니다. 이는 벡터 기반 구조, AI 임베딩 모델, OpenSearch와 같은 벡터 데이터베이스를 결합해 데이터의 의미를 이해하는 시맨틱 분석 트렌드에 대응하기 위함입니다. 여기에 체계적인 데이터 거버넌스 전략, Iceberg 통합, 그리고 S3 Vectors의 혁신적인 확장성이 더해지면서, 진정한 AI 시대에 최적화된 분석 플랫폼이 완성되고 있습니다.
