[reinvent 2024] 생성형 AI를 활용한 확장 가능한 주문 처리 자동화

들어가며

AffinityX는 매년 300만 건이 넘는 구매 주문을 처리하는 글로벌 광고 대행사로, 급증하는 업무량 속에서도 확장성과 운영 효율성을 확보해야 하는 챌린지에 직면했습니다. 이 세션에서는 그들이 어떻게 해당 챌린지를 달성했는지를 소개했습니다. 이 세션을 선택했던 이유는 제가 평소 많이 사용하는 Amazon Bedrock, AWS Lambda, 그리고 생성형 AI 기술인 Anthropic Claude3를 활용해 이러한 문제를 해결했다는 점이였습니다. 특히, 이 세션은 주문 처리 자동화 전반을 다루며, 서버리스 아키텍처와 생성형 AI의 결합으로 어떻게 운영 효율성을 극대화했는지를 중심으로 진행되었기에 흥미가 있었습니다.

해당 세션을 통해 기존 아키텍처와의 차별화된 점과 AffinityX가 구체적으로 어떤 방식으로 생성형 AI를 활용해 성공을 이루었는지 알아볼 수 있는 시간이었으며, 주문 제출부터 이행까지 이어지는 워크플로우를 자동화하면서도 비용 효율성과 확장성을 동시에 달성한 사례는 추후 저의 아키텍처 설계에도 유용한 힌트를 주었습니다. 그러한 부분들을 함께 느끼길 바라며 세션에 대한 내용 전달드리겠습니다.

Generative AI on AWS

첫 장표에서는 AWS의 Generative AI를 어떻게 고객 요구에 맞게 제공하는지에 대한 3계층 구조가 소개되었습니다. 고객들이 “어떻게 Generative AI를 시작해야 할까?”라는 질문을 자주 한다고 하며, 이에 대한 대답으로 3계층 구조를 말한다고 합니다.

• Infrastructure for FM Training and Inference

직접 모델을 훈련할 수 있는 부분으로,  AWS의 Trainium과 Inferentia 같은 고성능 칩을 활용해 대규모 모델을 훈련하거나 실험하는 고객에게 적합합니다. 이 계층은 특히 대량의 데이터와 컴퓨팅 리소스를 활용해 커스텀 모델을 만들고자 하는 요구사항이 있는 경우 유용합니다.

• Tools to Build with LLMs and other FMs

관리형 서비스로 제공되는 이 계층은 AI 모델을 빠르게 활용하고자 하는 고객에게 적합합니다.

Anthropic, Stability AI 같은 다양한 기초 모델을 제공하며,  서버리스 환경이므로 인프라를 관리할 필요 없이 간단히 시작할 수 있습니다. 이는 매니지드 서비스이지만, RAG및 Fine-Tuning으로 사용자의 데이터와 지식베이스에 맞는 커스터마이징이 가능하다는 점이 특징입니다.

• Applications that Leverage LLMs and FMs

이미 완성된 AI 애플리케이션을 바로 사용할 수 있는 계층으로, 챗봇 같은 도구를 쉽게 연결해 특정 비즈니스 요구를 해결할 수 있습니다. 지식 베이스와 결합하여 빠르게 적용이 가능하여 특히 시간과 비용을 절약하려는 기업에 적합합니다.

이렇게 3계층으로 구성된 GenAI Stack은 고객의 다양한 요구를 충족할 수 있도록 설계되었습니다. Priyanka는 특히 Amazon Bedrock이 가장 유연하고 강력한 계층이라고 합니다.

Features of Bedrock

Amazon Bedrock은 AWS의 대표적인 Gen AI 관리형 서비스로, 고객이  foundation model을 빠르게 활용할 수 있도록 돕는 플랫폼입니다. 이를 통해 기업은 인프라 구축 부담 없이 AI 모델을 활용하고, 비즈니스 요구에 따라 이를 맞춤화할 수 있습니다. 주요 기능을 정리해보면 다음과 같습니다.

[ 다양한 AI 모델 지원 ]

Bedrock은 여러 모델을 지원하며, 요구사항에 적합한 모델을 선택하고 활용할 수 있습니다.

Claude 3.5와 같은 최신 고성능 모델도 바로 활용 가능하며, 비즈니스 요구에 맞는 솔루션을 빠르게 구축할 수 있습니다.

[  RAG 및 Fine-Tuning 지원 ]

Amazon Bedrock은 고객이 제공하는 데이터와 지식 베이스를 활용해 모델을 더욱 정교하게 조정할 수 있는 다양한 도구를 제공합니다.

• RAG 

AI 모델이 실시간으로 외부 데이터 소스에서 정보를 검색하여 보다 정확한 결과를 생성합니다.

도메인 지식이 필요한 경우 실시간 데이터 검색으로 적합한 답변이 제공됩니다.

• Fine-Tuning 

AI 모델을 본인의 데이터로 재훈련하여, 고도로 맞춤화된 결과를 생성할 수 있습니다.

Fine-Tuning으로 생성된 모델은 사용자 전용이며, VPC 내에서 안전하게 관리됩니다.

[ Serverless Env ]

Bedrock은 서버리스로 운영되며 Single API로 쉽게 호출하여 사용할 수 있습니다.

인프라 관리가 필요 없기 때문에 모델 선택과 학습, 운영에만 집중할 수 있습니다.

[ 데이터 보안과 규정 준수 ]

Amazon Bedrock은 AWS의 보안 및 규정 준수 표준을 따르며, 고객 데이터의 안전성을 보장합니다.

데이터는 항상 암호화된 상태로 저장되고 전송되며 VPC 내부에서 통신됩니다.

GDPR, ISO 27001, SOC2와 같은 글로벌 표준을 준수합니다.

[  Agent 지원 ]

Amazon Bedrock은 워크플로우 자동화를 지원하기 위한 에이전트를 제공합니다.

EX) 여행 예약 과정에서  단순히 요구 사항을 입력하면, AI 에이전트가 최적의 결과를 제공하고 예약을 완료해줍니다.

Anthropic & Constitutional AI

Anthropic의 Constitutional AI 방식이 소개되었습니다. Constitutional AI 는 사람의 피드백 없이 데이터를 기반으로 AI 모델을 더 투명하고 정교하게 학습할 수 있도록 설계된 방법론이라고 합니다.

[ Constitutional AI ]

Anthropic이 개발한 Constitutional AI는 AI 모델이 스스로 안전하고 윤리적인 결과를 생성할 수 있도록 돕는 학습 방법으로 사람의 피드백 대신 고품질 데이터와 사전에 정의된 규칙을 기반으로 모델의 출력을 평가하고 조정합니다. 이를 통해 데이터의 편향이나 윤리적 이슈를 줄이고, AI 응답의 신뢰성과 투명성을 높일 수 있습니다.

[ Anthropic ]

Amazon Bedrock과 협력하여 Haiku 3, Claude 3, Opus 3,  Claude 3.5 등의 발전된 모델을 단기간에 걸쳐 출시했으며, 각 모델은 이전 버전보다 더 정교한 학습 및 응답을 제공하며 Constitutional AI를 통해 고품질 결과를 보장한다고 합니다.

UseCase : Affinity X & Cloudwick

AWS와 Cloudwick의 협력을 통해 Affinity X는 Amorphic Data Cloud와 GenAI 모델을 활용하여 주문 처리 자동화를 구현했습니다.

AffinityX는 AI 기반 워크플로우 솔루션과 옴니채널 마케팅을 제공하는 새로운 유형의 기술 기업입니다.

Challenge :

Affinity X는 수천 개 제품과 2만 개 이상의 유통업체에서 다양한 형식의 주문을 처리하고 있었는데, 이 과정이 너무 비효율적이었습니다. 주문 데이터 추출과 통합이 모두 수작업으로 이루어져 시간과 정확도 문제가 발생되었습니다.

How to Solve :

1. 자동화된 데이터 처리

주문서 이메일의 본문과 첨부 파일에서 데이터를 자동으로 추출합니다. Cloudwick의 Amorphic IDP(Intelligent Document Processing)를 통해 다양한 문서 형식을 지원하고, 데이터의 컨텍스트를 이해해 정확도를 향상시킵니다.

2. 다중 AI 모델 활용

두 개 이상의 AI 모델을 사용해 데이터 정확도를 교차 검증합니다..

Rosetta Stone System : 유통업체별로 상이한 용어를 표준화하여 오류를 줄일 수 있습니다.

EX)  “Navy”와 “Indigo”를 동일한 색상으로 매핑 → “Blue”

3. 워크플로우 개선 및 학습 기능

AI가 처리하지 못한 예외적인 상황은 Human-in-the-Loop를 통해 사람이 검토하였습니다. 사람이 수정한 데이터는 AI 모델에 피드백으로 반영되어 지속적으로 정확도가 향상되었습니다.

4. 실시간 데이터 연동

주문 데이터 처리 후, 재고 확인, 가격 검증, 배송 옵션 조회 등 추가 데이터를 자동으로 연동됩니다.

Cloudwick는 IT, 비즈니스 사용자 및 데이터 과학자를 위한 더 빠르고 저렴하며 민첩한 클라우드 분석을 지원하는 네이티브 데이터 레이크 구축을 전문으로 하는 AWS 공인 컨설팅 파트너입니다.

Performance :

1. 처리 속도 향상
   • 주문 데이터 처리 시간: 평균 12분 → 10초
   • 전체 주문 프로세스 소요 시간: 약 4시간 → 15분
     
     
2. 효율성 및 정확도 향상
   • 데이터 입력 오류와 중복 작업을 대부분 제거.
   • 생산성 약 30% 증가, 지속적인 AI 학습을 통해 65% 이상 개선 전망.
     
     
3. 비용 절감 및 안정적인 인력 운용
   • 주문량 변동에 따라 인력을 유연하게 관리할 필요가 줄어들었음.
   • 초과 근무나 주말 작업 감소.
     
     
4. 고객 신뢰도 강화
   • 주문 처리 품질과 속도가 크게 개선되면서 고객 만족도가 상승.

결론

이번 세션은 AWS의 Generative AI 스택과 Amazon Bedrock을 통해 GenAI를 실질적으로 활용하는 사례가 소개되었습니다. Affinity X 사례는 AWS와 Cloudwick의 GenAI 솔루션이 어떻게 비효율적인 프로세스를 개선하고 비즈니스 성과를 극대화할 수 있는지를 잘 보여주는 사례였습니다. 

서버리스 기반의 Amazon Bedrock은 모델 운영에 필요한 인프라 관리 부담을 줄이고, 보안과 규정 준수를 보장하면서도 높은 유연성을 제공한다는 점에서, 엔지니어링 측면에서도 매우 매력적인 도구라고 느꼈습니다. 앞으로 고객의 요구 사항에 맞는 AI 솔루션을 설계하고, 데이터 파이프라인을 통해 이를 지원할 수 있는 구조를 더욱 고민하고 설계하는 데 큰 도움이 될 것 같습니다.