[reinvent 2025] GenAI를 활용한 멀티테넌트 SaaS 아키텍처 프로파일링, 확장 및 최적화
Summary
SaaS 빌더들은 시스템이 리소스를 소비하는 효율성 및 테넌트가 로드를 적용하는 방식 등 실시간 프로파일을 평가하기 위해 지표와 프로파일링 데이터에 크게 의존해왔습니다. 본 세션은 GenAI를 이 경험에 도입하여 빌더들이 멀티 테넌트 전략 및 정책이 어떻게 작동하는지에 대한 더욱 풍부한 시각을 얻을 수 있도록 돕습니다. GenAI 메커니즘을 아키텍처에 도입하고 다양한 GenAI 도구로 분석하여 시간 대비 가치, 과잉 프로비저닝 등의 핵심 통찰력을 분석하는 방법을 다루었습니다.
리인벤트 2025 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
이번 칼럼에서는 “GenAI를 활용한 멀티테넌트 SaaS 아키텍처 프로파일링, 확장 및 최적화” 세션을 듣고 얻은 신규 기술 및 업데이트된 정보를 공유하고자 합니다. 이 세션은 심도 있는 데모나 코드보다는 아키텍처 패턴과 실제 사용 사례를 다루었습니다. SaaS 아키텍처가 성장하고 확장함에 따라 발생하는 운영 및 효율성 문제를 GenAI를 활용하여 해결하고, SaaS 성숙도를 높이는 방안에 주목합니다. 이번 세션에서 주목할 내용으로는 GenAI를 활용한 비용 분석, 고객 행동 통찰력 확보, 그리고 리소스 효율성 최적화 방안이 있습니다.
GenAI를 통한 비용 인텔리전스 확보
성공적인 ‘Best of Breed’ SaaS 벤더들은 고객에게 서비스를 제공하는 데 드는 비용(테넌트당 비용, 기능당 비용 등)을 파악하기 위해 데이터를 활용하며, 이를 통해 경쟁 우위를 확보합니다.
전통적으로 비용 분석은 애플리케이션 플레인에서 테넌트의 소비 매트릭스를 측정하고, 이를 컨트롤 플레인에서 집계하여 인프라 비용을 할당하는 방식으로 진행되었습니다. GenAI는 이러한 비용 분석의 자동화를 제공할 뿐만 아니라, 고급 비용 인텔리전스(advanced cost intelligence)에 더 쉽게 접근할 수 있게 해줍니다.
LLM은 패턴 식별에 탁월하므로, 기존 데이터를 활용하여 단 몇 시간 만에 테넌트당 비용과 같은 통찰력을 신속하게 얻을 수 있습니다. 이를 더 영구적인 디자인으로 만들기 위해 AI 에이전트를 도입할 수 있습니다.
예를 들어, AI 에이전트는 비용 탐색 MCP(Cost Explorer MCP) 도구들을 사용하여 테넌트의 현재 사용량을 살펴보고, 비용을 정확하게 계산함으로써 테넌트당 비용을 파악할 수 있습니다.
이 비용 및 마진 데이터를 바탕으로 비용 인사이트 에이전트는 지난 12개월간의 동향, 마진 변동 및 패턴을 분석할 수 있으며, 이 과정은 프롬프트를 통해 유연하게 맞춤 설정할 수 있습니다. 또한, 비용 예측 에이전트(Cost Prediction Agent)를 통해 역사적 데이터를 기반으로 향후 6개월에 대한 예측도 수행할 수 있습니다.
궁극적으로, GenAI 에이전트는 인프라 최적화나 티어별 가격 책정 전략에 대한 추천을 제공할 수 있습니다. 이를 위해 개별 기능의 고유 비용(cost per feature)을 계산하고, 이 데이터를 현재 티어링 구조에 대한 정보와 함께 새로운 가격 책정 전략 에이전트(Pricing Strategy Agent)에 제공하여 포괄적인 추천을 얻습니다.
고객 페르소나 분석을 통한 수익성 극대화
고객 인사이트는 SaaS 성장에 필수적이며,고객이 제품을 어떻게 사용하는지 이해하면 엔지니어링 리소스를 집중할 수 있고, 고객이 원하는 방식으로 제품을 판매할 수 있게 됩니다. GenAI는 고객의 사용 메트릭을 분석하여 서로 다른 고객 페르소나를 식별하는 데 도움을 줍니다.
고객의 기능 사용량을 파악하는 것은 중요하지만, 애플리케이션 전체를 계측(instrumenting)하는 것은 큰 장벽이 될 수 있습니다. 하지만 인그레스(Ingress) 로그, 예를 들어API 게이트웨이의 접근 로그를 활용하면, 각 기능별 경로(Path per feature)를 매핑하여 기능별 사용량 데이터를 손쉽게 확보할 수 있습니다. 이 데이터와 기타 컨텍스트를 에이전트에 제공하면, 에이전트는 자연어 인터페이스를 통해 고객이 사용하는 기능, 페르소나 유형 및 각 페르소나의 수익성 등을 분석할 수 있습니다.
에이전트는 이 데이터를 활용하여 이탈(churn) 위험 고객을 감지하거나 상향 판매(upsell) 잠재 고객을 식별하는 데 사용될 수 있습니다. 예를 들어, 사용량이 적은 고객을 발견하면, 에이전트가 고객의 페르소나와 사용량에 기반하여 맞춤화된 대응 방안을 생성함으로써 이탈률을 개선할 수 있습니다. 이러한 기능을 구축하는 데 물리적인 팀이나 인력을 추가할 필요 없이 에이전트를 통해 구현할 수 있다는 점이 GenAI의 핵심 이점입니다.
리소스 효율성 개선 및 노이즈 이웃 문제 자동 해결
SaaS에서 리소스 관리는 성능과 수익 마진 사이의 균형을 맞추는 어려운 과제입니다. GenAI는 운영 효율성과 민첩성을 자동화하고 개선할 수 있습니다.리소스 관리 워크플로우는 이상 감지(Anomaly Detection)에서 시작됩니다. 이상 감지 에이전트는 현재 테넌트 사용량을 SLO(Service Level Objectives)와 교차 확인하고, 비즈니스 영향이나 티어 구성 등 추가적인 고려 사항을 반영하여 이상 징후를 식별합니다.
이후 패턴 인식 에이전트가 식별된 이상 징후를 분석하여 노이즈 이웃(noisy neighbor)과 같은 잠재적인 심각한 조건(critical conditions)을 파악합니다. 예를 들어, 특정 테넌트가 짧은 시간 동안 반복적으로 높은 CPU 사용량을 보인다면 잠재적인 노이즈 이웃으로 식별될 수 있습니다.
이러한 문제를 해결하기 위해, 아키텍처에 오케스트레이션을 담당하는 Supervisor 에이전트와, 노이즈 이웃이나 리소스 오용 등 특정 조건에 특화된 전문가 에이전트 레이어를 도입할 수 있습니다. 전문가 에이전트는 노이즈 이웃 여부를 확인하고, 상황을 완화하기 위한 인프라 수준의 시정 조치를 제안할 수 있습니다. 다만, 인프라 변경의 신뢰도를 높이기 위해서는, 에이전트가 제안한 시정 조치를 사람이 검토하고 승인하는 Human in the Loop 옵션을 사용하는 것이 권장됩니다.
결론
GenAI는 SaaS 제품을 구축하고 운영하는 방식을 근본적으로 변화시키고 있습니다. LLM의 패턴 식별 능력을 활용하여 기존 데이터를 분석함으로써 데이터 통찰력을 신속하게 얻을 수 있습니다. 이러한 능력을 컨트롤 플레인에 통합하면, 비용 분석, 고객 통찰력 확보, 리소스 효율성 향상 등 성숙한 SaaS의 핵심 속성을 처음부터 구현할 수 있습니다.
성공적인 도입을 위해서는 작게 시작하되, 새로운 에이전트와 기능을 지속적으로 추가할 수 있는 확장 가능한 아키텍처를 구축해야 합니다. 특히 Amazon Bedrock Agent Core 서비스와 같은 기술을 활용하여 에이전트를 도입하고, 에이전트가 정확한 결정을 내릴 수 있도록 적절한 도구와 데이터(데이터셋)를 제공하는 것이 중요합니다. GenAI는 단순한 자동화와 운영 효율성을 넘어 SaaS 애플리케이션의 수익 마진을 극대화하는 데도 도움이 될 수 있습니다.
GenAI를 활용하여 SaaS 운영을 개선하는 것은 마치 내비게이션 시스템을 구축하는 것과 같습니다. 이전에는 지도(데이터)와 나침반(전통적인 분석 도구)에 의존해 시간을 들여 경로를 찾았지만, 이제는 AI 에이전트라는 첨단 GPS(인텔리전스)를 통해 실시간으로 최적의 경로(비용, 고객 만족, 효율성)를 안내받고 심지어 교통 체증(노이즈 이웃)까지 자동으로 우회하는 방법을 제안받을 수 있게 된 것입니다.
