[reinvent 2024] Dr. Swami Sivasubramanian Keynote
Summary
Dr. Swami Sivasubramanian(AWS의 Vice President)는 리인벤트 2024의 Keynote Session에서 무슨 이야기를 했을까요?
AI 융합과 혁신의 시대 / SageMaker AI와 HyperPod / SageMaker 의 새로운 방향과 내용에 대해 메가존클라우드의 테크 블로그를 통해 함께 살펴보실까요?
리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
기술 발전을 통한, 새로운 시대가 열리는 과정을 이야기로 엮으면서, 생성형 AI(Generative AI)의 발전에 대해 이야기 했습니다. 특히 SageMaker AI를 활용한 데이터와 기계 학습을 통해, 모델의 효율적인 관리와 훈련 및 배포 등, 새로운 가능성들에 대하여, 여러 AWS 기술이 어떻게 활용될 수 있는 지 이야기 되었습니다. 이제 기업들이 이러한 AWS 도구를 사용해 문제를 해결하고, 최고의 효율을 낼 수 있게 되었는데요. 오늘의 Keynote세션을 통해, AI의 미래와 이를 통해 더욱 창의적이고 효율적인 작업이 가능해 진다는 것을 알 수 있었습니다.
AI 융합과 혁신의 시대
생성형 AI(Generative AI)는 수십 년의 연구와 발전을 바탕으로 새로운 도약을 이루고 있습니다. 퍼셉트론, 비지도 학습, 트랜스포머와 클라우드 기반 데이터의 결합이 AI의 발전을 가속화하고 있습니다.
AI 도구와 인터페이스는 효율성과 창의성을 높입니다. 고객 서비스는 개인화된 응답을 생성하고, 마케터는 대규모 콘텐츠를 제작하며, 개발자는 소프트웨어 개발을 간소화하고 있습니다.
AI는 생산성을 높이고 창의성을 확장하며 실질적 가치를 제공합니다. AWS는 이를 지원하며 고객의 성장을 돕고 있습니다.
SageMaker AI와 HyperPod
SageMaker AI는 빅데이터 분석, SQL 분석, 머신러닝, Generative AI를 통합한 플랫폼으로 데이터 준비부터 모델 개발, 훈련, 배포까지 과정을 단순화합니다. HyperPod는 자동 복구와 훈련 계획 자동화를 통해 모델 훈련을 지원하며, 비용을 최대 40% 절감할 수 있습니다.
SageMaker는 대규모 모델 훈련에서 발생하는 복잡성과 문제를 해결해 고객이 효율적이고 안정적으로 모델을 개발하고 운영할 수 있도록 돕습니다.
SageMaker HyperPod
SageMaker HyperPod는 훈련 작업의 부담을 줄이고, 자동 복구와 자원 관리를 이용하여, 모델 개발 속도를 높이는 기능을 제공합니다. Writer.ai, Perplexity, Thomson Reuters, Salesforce 등 주요 기업들이 이를 활용해 복잡한 모델 훈련의 문제를 해결하고 있습니다. HyperPod는 유연한 훈련 계획으로 컴퓨팅 자원을 최적화하고 훈련 시간을 단축해 효율성을 극대화합니다.
SageMaker HyperPod HyperPod flexible training plans
Amazon SageMaker HyperPod flexible training plans는 컴퓨팅 요구 사항과 훈련 일정만 정의하면 나머지를 자동으로 처리하는 유연한 훈련 계획을 제공합니다. EC2 용량 블록을 활용해 최적의 훈련 계획을 생성하며, 클러스터 설정과 모델 훈련 작업을 자동화해 데이터 과학 팀의 작업 시간을 크게 단축합니다. 효율적인 체크포인트와 자동 복구 기능으로 훈련 중단 시에도 수동 개입 없이 지속적으로 작업을 진행할 수 있으며, 동적인 자원 환경에서도 효율적인 컴퓨팅 자원 관리를 가능하게 합니다.
SageMaker HyperPort Task Governance
컴퓨팅 자원의 효율적 관리가 어려운 환경에서 Amazon은 동적 자원 할당과 실시간 분석으로 자원 활용도를 90% 이상 높이고, SageMaker HyperPort Task Governance를 통해 작업 관리를 자동화해 비용을 최대 40% 절감합니다.
AI apps from AWS partners now available in Amazon SageMaker
SageMaker는 Comet, DeepChecks 등 AI 파트너 애플리케이션과 통합해 MLOps 수명 주기를 지원하며, 훈련, 평가, 모니터링, 보안을 간소화합니다. 완전 관리형 환경을 제공해 통합 과정을 단축하고 모델 개발을 가속화합니다.
데이터 보안 문제도 해결되어, VPC 외부 공유 없이 파트너 앱과 안전하게 통합 가능합니다. 이를 통해 고객은 효율성과 보안을 모두 갖춘 ML 모델 개발 환경을 활용할 수 있습니다.
Autodesk의 SageMaker AI 활용과 3D 디자인 혁신
Autodesk는 AWS의 SageMaker AI를 활용해 3D Generative AI 기술을 발전시키고 있습니다. 대표 프로젝트인 “베르니니”는 텍스트, 스케치, 폭셀, 포인트 클라우드 등 다양한 입력 데이터를 사용해 복잡한 AI 모델을 개발하며, 2D와 3D CAD 기하학을 생성하는 데 활용됩니다.
이 과정에서 DynamoDB를 이용해 수십억 개의 객체를 처리할 데이터 모델을 구축하고, AWS와 협력하여 높은 처리량과 낮은 지연 시간을 구현했습니다. SageMaker를 통해 기계 학습 환경을 최적화한 결과, 배포 시간이 절반으로 단축되고 AI 생산성이 30% 향상되었습니다.
Amazon Bedrock의 발전과 새로운 모델 추가
Amazon Bedrock은 애플리케이션 개발자가 Generative AI 애플리케이션을 쉽게 구축하고 확장할 수 있도록 지원하는 완전 관리형 서비스입니다. 다양한 모델 옵션을 제공하여 개발자가 각 과제에 적합한 최적의 모델을 선택하고 활용할 수 있습니다.
Amazon은 최신 혁신을 제공하기 위해 지속적으로 투자하고 있으며, Mistral AI, Meta의 Llama, Stability AI, Anthropic의 첨단 모델, Amazon의 Nova 모델 등을 지원합니다. 내부 팀에서도 이미 여러 모델을 활용 중이며, 초기 결과는 매우 긍정적이고 인상적입니다.
앞으로 더 많은 고객이 사용할 수 있도록 모델 확장을 계속 진행할 예정이며, 내년에는 Poolside의 새로운 모델이 Bedrock에 추가될 예정이라고 합니다.
Amazon은 최신 혁신을 제공하기 위해 지속적으로 투자하고 있으며, Mistral AI, Meta의 Llama, Stability AI, Anthropic의 첨단 모델, Amazon의 Nova 모델 등을 지원합니다. 내부 팀에서도 이미 여러 모델을 활용 중이며, 초기 결과는 매우 긍정적이고 인상적입니다.
앞으로 더 많은 고객이 사용할 수 있도록 모델 확장을 계속 진행할 예정이며, 내년에는 Poolside의 새로운 모델이 Bedrock에 추가될 예정이라고 합니다.
stability.ai 의 Stable Diffusion 3.5
stability.ai의 Stable Diffusion 3.5 모델이 Bedrock에 추가되어, SageMaker HyperPort로 훈련된 강력한 텍스트-이미지 생성 모델을 제공할 수 있게 되었습니다.
Luma AI
Luma AI가 곧 Bedrock에 추가되며, AI를 활용한 고품질 비디오 생성 기술에서 중요한 진전을 이루었습니다. Luma Ray 2 디지털 모델은 텍스트와 이미지를 활용해 고품질의 현실적인 비디오를 생성하며, 디자인과 마케팅 워크플로우가 획기적으로 개선됩니다.
이 모델은 구성, 색상, 카메라, 액션을 혁신적으로 제어할 수 있어, 브랜드 정체성을 비디오에 자연스럽게 반영할 수 있습니다. 또한, 캐릭터와 스토리의 일관성을 유지하면서 실시간 속도로 분 단위 비디오 제작이 가능해졌습니다.
Amazon Bedrock Marketplace
이 마켓플레이스는 주요 제공업체의 100개 이상의 최신 특화 기반 모델을 제공합니다. 이제 Bedrock 콘솔을 통해 다양한 모델을 통합된 환경에서 쉽게 탐색하고 테스트하며 개발 워크플로우를 간소화할 수게 되었습니다.
Amazon Bedrock supports prompt caching
한번 생성된 토큰 인코딩을 문서 전체에 캐싱하여 이후 프롬프트에서 다시 처리하지 않아 입력 토큰 처리 과정을 생략할 수 있습니다. 고객들이 반복적인 프롬프트를 동적으로 캐싱하여 비용과 지연 시간을 줄이면서도 정확성을 유지할 수 있도록 간편한 방법을 제공하고자 했습니다.
Prompt caching은 비용 절감에 큰 도움이 됩니다. 자주 사용하는 프롬프트 접두어를 여러 API 호출에서 캐싱하면 응답 지연 시간을 줄일 뿐만 아니라 비용도 절감할 수 있습니다. 시작하려면 Bedrock API를 사용하거나 Playground UI에서 직접 실험해보고 얼마나 비용을 절감할 수 있는지 확인할 수 있습니다. 이 기능을 통해 지원되는 모델에서 지연 시간을 최대 85%, 비용을 최대 90%까지 줄일 수 있습니다.
Prompt caching은 비용 절감에 큰 도움이 됩니다. 자주 사용하는 프롬프트 접두어를 여러 API 호출에서 캐싱하면 응답 지연 시간을 줄일 뿐만 아니라 비용도 절감할 수 있습니다. 시작하려면 Bedrock API를 사용하거나 Playground UI에서 직접 실험해보고 얼마나 비용을 절감할 수 있는지 확인할 수 있습니다. 이 기능을 통해 지원되는 모델에서 지연 시간을 최대 85%, 비용을 최대 90%까지 줄일 수 있습니다.
Amazon Bedrock Intelligent Prompt Routing
이 기능은 프롬프트를 모델 패밀리 내에서 다양한 기반 모델로 자동 라우팅하여 비용과 응답 품질을 최적화할 수 있도록 도와줍니다. 사용자는 원하는 모델을 선택하고, 요청별로 비용과 지연 시간의 임계값을 설정하면 됩니다.
Bedrock은 가장 적은 비용으로 최상의 응답을 제공할 가능성이 높은 모델로 요청을 동적으로 라우팅합니다. 이 Intelligent Prompt Routing 기능을 통해, 정확도를 유지하면서도 비용을 최대 30%까지 절감할 수 있습니다. 이러한 기능을 활용하면 다양한 사용 사례에서 추론 최적화를 손쉽게 구현할 수 있게 되었다고 합니다.
Bedrock은 가장 적은 비용으로 최상의 응답을 제공할 가능성이 높은 모델로 요청을 동적으로 라우팅합니다. 이 Intelligent Prompt Routing 기능을 통해, 정확도를 유지하면서도 비용을 최대 30%까지 절감할 수 있습니다. 이러한 기능을 활용하면 다양한 사용 사례에서 추론 최적화를 손쉽게 구현할 수 있게 되었다고 합니다.
Amazon Kendra
Bedrock Knowledge Bases는 RAG 워크플로우를 위한 강력한 기반을 제공하지만, 방대한 기업 데이터 소스에서 효율적이고 정확한 검색을 구현하는 것은 쉽지 않은 일입니다. 여기에서 Amazon Kendra가 해결책이 됩니다.
Kendra는 머신러닝을 활용한 지능형 검색 서비스로, 더 관련성 높은 데이터를 찾아주는 데 도움을 줍니다. 또한, 벡터 임베딩을 생성 및 관리하며, 의미를 이해하는 기능을 통해 애플리케이션의 검색 정확도를 향상시킬 수 있습니다. Kendra는 40개 이상의 기업 데이터 소스와 연결할 수 있는 내장형 커넥터도 제공하고 있다고 합니다.
Amazon Kendra Generative AI Index
고객들은 기본적으로 최적의 임베딩 모델을 선택하고, 벡터 차원을 최적화하며, 검색 정확도를 미세 조정할 수 있는 벡터 인덱스를 원했습니다. 또한, 지식 기반과 전체 생성형 AI 스택과의 매끄러운 통합도 가능한 Kendra Generative AI Index 가 새롭게 출시 되었습니다.
이 기능은 40개 이상의 기업 데이터 소스와 연결할 수 있는 커넥터를 지원하며, Bedrock과 드래그를 위한 관리형 검색기를 제공합니다. Bedrock 지식 기반으로 활용할 수 있으며, 에이전트, 프롬프트 플로우, 가드레일 같은 기능을 통해 생성형 AI 어시스턴트를 손쉽게 구축할 수 있다고 합니다.
이 기능은 40개 이상의 기업 데이터 소스와 연결할 수 있는 커넥터를 지원하며, Bedrock과 드래그를 위한 관리형 검색기를 제공합니다. Bedrock 지식 기반으로 활용할 수 있으며, 에이전트, 프롬프트 플로우, 가드레일 같은 기능을 통해 생성형 AI 어시스턴트를 손쉽게 구축할 수 있다고 합니다.
Amazon Bedrock Knowledge Bases now supports GraphRAG
이 새로운 기능은 Amazon Neptune을 사용해 자동으로 그래프를 생성하고, 다양한 데이터 소스 간의 관계를 연결해줍니다. 이를 통해 별도의 그래프 전문 지식 없이도 더욱 포괄적인 생성형 AI 애플리케이션을 만들 수 있습니다.
KnowledgeBases는 이제 데이터 간의 연결과 출처 정보를 명확히 표시하여 설명력을 높이고 사실 검증을 더 쉽게 도와줍니다. GraphRAG 지원을 통해 고객은 단일 API 호출만으로도 애플리케이션에 더 정확한 응답을 생성할 수 있게 되었다고 합니다.
KnowledgeBases는 이제 데이터 간의 연결과 출처 정보를 명확히 표시하여 설명력을 높이고 사실 검증을 더 쉽게 도와줍니다. GraphRAG 지원을 통해 고객은 단일 API 호출만으로도 애플리케이션에 더 정확한 응답을 생성할 수 있게 되었다고 합니다.
Amazon Bedrock Data Automation
이 기능은 비정형 멀티모달 콘텐츠를 자동으로 구조화된 데이터로 변환해 생성형 AI 애플리케이션에 활용할 수 있게 해줍니다. 코딩이 필요 없으며, 마치 비정형 데이터를 위한 생성형 AI 기반 ETL 도구라고 생각하면 됩니다.
이 기능은 멀티모달 콘텐츠를 자동으로 추출, 변환, 처리하며, 단일 API를 통해 원하는 출력물을 생성하거나, 스키마에 맞춰 정렬하거나, 분석에 활용할 데이터를 손쉽게 변환하고 로드할 수 있습니다. 또한, Bedrock Data Automation은 신뢰 점수를 제공하고 응답을 원본 콘텐츠에 기반하게 만들어, 허구적 결과(hallucination)의 위험을 줄여준다고 합니다.
이 기능은 멀티모달 콘텐츠를 자동으로 추출, 변환, 처리하며, 단일 API를 통해 원하는 출력물을 생성하거나, 스키마에 맞춰 정렬하거나, 분석에 활용할 데이터를 손쉽게 변환하고 로드할 수 있습니다. 또한, Bedrock Data Automation은 신뢰 점수를 제공하고 응답을 원본 콘텐츠에 기반하게 만들어, 허구적 결과(hallucination)의 위험을 줄여준다고 합니다.
Amazon Bedrock Guardrails Multimodal toxicity detection
Bedrock Guardrails에 이미지 데이터를 지원하는 유해성 감지 기능이 추가되었습니다. 이를 통해 안전한 멀티모델 생성형 AI 애플리케이션을 구축할 수 있습니다. 예를 들어, 온라인 광고 분류 회사는 혐오, 폭력, 부적절한 이미지 콘텐츠와 같은 유해 이미지를 사용자와의 상호작용에서 차단할 수 있습니다.
이 업데이트는 이미지 콘텐츠를 지원하는 모든 Bedrock 모델과 그에 포함된 세부 조정 모델에도 적용됩니다. 앞으로 모델 선택부터 책임 있는 AI 활용까지, 이러한 도구와 기능은 더 많은 문제를 해결하고 자동화를 위한 새로운 가능성을 열어줄 중요한 요소가 될 것이라고 합니다.
Amazon Bedrock에서, 모델 선택부터 자동화 관리 에이전트까지 지속적으로 진화하고 있습니다.
이 업데이트는 이미지 콘텐츠를 지원하는 모든 Bedrock 모델과 그에 포함된 세부 조정 모델에도 적용됩니다. 앞으로 모델 선택부터 책임 있는 AI 활용까지, 이러한 도구와 기능은 더 많은 문제를 해결하고 자동화를 위한 새로운 가능성을 열어줄 중요한 요소가 될 것이라고 합니다.
Amazon Bedrock에서, 모델 선택부터 자동화 관리 에이전트까지 지속적으로 진화하고 있습니다.
Amazon Q Developer now tops the SWE Bench
Q Agent는 SWE Bench에서 소프트웨어 개발 문제 54개를 해결하며 최고 성능을 기록했습니다. 이는 7개월 전보다 두 배 이상 향상된 결과입니다.
Amazon Q Developer is now available in SageMaker Canvas
SageMaker Canvas에서 이제 Amazon Q를 사용할 수 있습니다. 자연어로 문제를 설명하면 Python 코딩 없이도 Amazon Q가 ML 모델 구축 과정을 단계별로 안내합니다.
Amazon Q in QuickSight Scenarios
Amazon Q와 QuickSight는 비즈니스 분석 속도를 크게 향상시킬 것이라고 합니다. Amazon Q는 데이터 레이크에서 빠른 SQL 분석과 빅데이터 처리를 가능하게 하고, SageMaker AI에서 모델 훈련을 가속화하며, Bedrock에서는 AI 기반의 새로운 경험을 제공합니다. 이러한 도구와 데이터, 그리고 AI의 융합은, 차세대 Amazon SageMaker를 통해 분석 및 머신러닝 워크플로우를 간소화 하게 되었습니다
AWS Education Equity Initiative
2023년에 발표된 AI Ready는 전 세계 200만 명 이상에게 무료로 AI 기술 교육을 제공합니다. AWS AI 및 ML 장학금과 Amazon Future Engineer 프로그램을 통해 각각 2,800만 달러와 4,600만 달러의 장학금을 제공하여 소외 계층 학습자들이 최첨단 AI 기술을 배울 수 있도록 하고 있습니다.
AWS 교육 형평성 이니셔티브는 1억 달러에 달하는 클라우드 컴퓨팅 크레딧과 AWS 전문가의 기술 지도를 제공하여 디지털 학습 솔루션 구축을 돕습니다. 이 프로그램은 Code.org와 협력해 학생 프로젝트 평가를 자동화하여 교사들이 학생 개인 지도에 더 많은 시간을 투자할 수 있도록 지원하고 있습니다.
AWS 교육 형평성 이니셔티브는 1억 달러에 달하는 클라우드 컴퓨팅 크레딧과 AWS 전문가의 기술 지도를 제공하여 디지털 학습 솔루션 구축을 돕습니다. 이 프로그램은 Code.org와 협력해 학생 프로젝트 평가를 자동화하여 교사들이 학생 개인 지도에 더 많은 시간을 투자할 수 있도록 지원하고 있습니다.
결론
이번 Keynote 는, 기술 혁명에 버금가는 AI 에 있어, Amazon SageMaker, Amazon Bedrock 과 Amazon Q, 그리고 이들을 융합한 많은 새로운 기능들이 소개 되었습니다.
기본 모델 훈련을 위한 강력한 도구부터 생성형 AI의 생산성 혁신까지, 라이트 형제의 비행기 역사가 시작 했던 것 처럼, 역사적인 전환점에 서 있는 듯 합니다. 특히, 코드를 몰라도 스키마와 결과들을 분석하여 최적의 query 를 짜준다건가, 여러 시나리오 기반으로 미세조정 하면서 사용하는 QuickSight 등, 이런거 있으면 좋겠다 하는 것들이 대거 새 기능으로 런칭된 듯 합니다.
앞으로, 우리가 상상하는 것 만큼, 그리고 그 이상의 AI 관련 기능들이 출시될 것 같아, 지속적으로 귀추가 주목 됩니다.
기본 모델 훈련을 위한 강력한 도구부터 생성형 AI의 생산성 혁신까지, 라이트 형제의 비행기 역사가 시작 했던 것 처럼, 역사적인 전환점에 서 있는 듯 합니다. 특히, 코드를 몰라도 스키마와 결과들을 분석하여 최적의 query 를 짜준다건가, 여러 시나리오 기반으로 미세조정 하면서 사용하는 QuickSight 등, 이런거 있으면 좋겠다 하는 것들이 대거 새 기능으로 런칭된 듯 합니다.
앞으로, 우리가 상상하는 것 만큼, 그리고 그 이상의 AI 관련 기능들이 출시될 것 같아, 지속적으로 귀추가 주목 됩니다.
글 │메가존클라우드, Cloud Technology Center,Global Pre-Sales Team 이용진 팀장
게시물 주소가 복사되었습니다.
