[reinvent 2024] Amazon SageMaker Studio를 통한 ML 워크플로우 가속화
Summary
ML라이프사이클을 간소화 하기 위한 Amazon SageMaker Studio의 기능에 대해 설명하는 세션입니다. 데이터 탐색, 데이터 변환, AutoML을 통한 자동화, 통합 주피터 노트북을 활용한 협업을 다룹니다. SageMaker Studio MLOps 통합을 통해 모델 배포, 모니터링 및 거버넌스를 간소화 하는 방법에 대해 소개합니다.
리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
이번 칼럼에서는 Amazon SageMaker Studio를 활용해 AI/ML의 워크플로우를 가속화하는 방법에 대해 소개하려 합니다. Amazon SageMaker Studio에서 다양한 최신 모델과 도구를 활용해 효율적인 데이터 처리, 모델 평가, 튜닝 및 배포를 진행할 수 있는 방법을 설명했습니다. 또, 새로운 Amazon SageMaker 기능인 Amazon SageMaker Unified Studio와 Amazon SageMaker Partners AI Apps를 활용하는 방법에 대해서도 소개했습니다.
1. AI/ML 워크플로우 가속화
Amazon SageMaker Studio는 AI/ML 워크플로우를 가속화 할 수 있도록 지원합니다. Amazon SageMaker Studio는 데이터 준비, 모델 평가, 튜닝 및 배포 전 과정을 하나의 인터페이스에서 제공해 사용자가 다양한 최신 모델과 도구를 쉽게 활용할 수 있습니다. 특히 다양한 모델 공급자로부터 제공되는 다양한 모델들을 쉽게 접근할 수 있습니다.
또, Amazon SageMaker Unified Studio가 새로 출시되었습니다. SageMaker Unified Studio는 익숙한 AWS 도구를 활용해 데이터를 검색하고 작업할 수 있고, 데이터 분석, 데이터 처리, 모델 학습, Gen AI 어플리케이션 구축 등 end-to-end 개발 워크플로우를 단일 환경에서 사용할 수 있습니다.
2. 모델 평가 및 튜닝 도구
SageMaker Studio에서는 모델 평가와 튜닝, 커스터마이징, 트래킹을 간편하게 진행할 수 있는 도구들을 제공합니다.
다음 이미지와 같이 Jupyter Model Hub를 통해 300개 이상의 오픈소스와 상용 모델들을 선택할 수 있고, 각각의 모델에 대한 평가를 자동화하여 수행할 수 있습니다.
평가 알고리즘을 사용해 모델의 정확도, 편향성(Bias)등을 분석할 수 있고, 이를 통해 모델의 성능을 개선할 수 있습니다. 또, 모델을 튜닝하는 과정에서 실험과 모델의 버전을 기록하고 비교하기 위해 MLflow와 통합할 수 있는 기능이 제공됩니다.
3. SageMaker Partner AI Apps 기능
이번 re:Invent에서 Amazon SageMaker AI의 새로운 기능인 Amazon SageMaker partner AI apps 기능이 출시되었습니다. 이 기능은 Amazon SageMaker 내에서 프라이빗한 환경에서도 다른 파트너사들의 AI/ML 어플리케이션을 불러와 사용할 수 있는 기능입니다.
결론
이번 세션에서는 Amazon SageMaker Studio를 활용한 전반적인 머신러닝 워크플로우와 함께 새롭게 추가된 기능인 Amazon SageMaker Unified Studio와 Amazon SageMaker Partner AI Apps 기능에 대해 소개했습니다. 다양한 모델들을 활용한 데이터 처리와 모델들을 평가하는 기능에 대해 알 수 있었습니다. 지금까지 데이터의 보안을 위해 프라이빗한 환경에서만 사용 가능한 경우가 많았고, 그런 경우 다른 SaaS 어플리케이션을 사용하는 데에 제약이 있는 경우가 많았습니다. 그런데 이번에 업데이트 된 기능인 Amazon SageMaker Partner AI Apps 기능을 사용하면 이런 문제가 개선될 것으로 보입니다.