[AWS SUMMIT 2025] CJ제일제당의 AI혁신! Amazon Bedrock과 함께하는 사내 최적화AI플랫폼의 모든 것

CJ제일제당의 AI혁신! Amazon Bedrock과 함께하는 사내 최적화AI플랫폼의 모든 것

🎙️최용호 솔루션즈 아키텍트

🎙️장승범 AI 플랫폼 개발자

🗂️ 세션 토픽: 리테일 및 소비재

이번 칼럼에서는 사내 AI 플랫폼이 왜 필요한지, 어떤 방식으로 이를 구축하고 구성할 수 있는지, 그리고 실제 조직 내에서 어떻게 활용되고 확산되고 있는지를 소개합니다. 이는 부서마다 상이한 AI 도입 속도와 활용 격차를 해소하고, 생성형 AI 도입에 따른 보안 및 데이터 유출 리스크에 체계적으로 대응하며, 사내에 흩어져 있는 지식 자산을 중앙에서 통합·활용하기 위한 전략을 담고 있습니다. 

더불어 Snap AI라는 사내 생성형 AI 서비스의 구체적인 사례를 통해, 외부 서비스 대비 어떤 차별성과 실질적 성과를 만들어내고 있는지, 그리고 향후 AI 기반 업무 자동화까지 어떻게 확장될 수 있을지도 함께 살펴봅니다.

1. 왜 사내 AI 플랫폼이 필요한가

최근 기업 전반에서 생성형 AI 도입이 빠르게 확산되고 있지만, 실제로 이를 조직 전체에 균등하게 적용하는 데는 여러 한계가 존재합니다. 

특히 부서별로 AI 활용에 대한 이해도와 적용 속도는 큰 차이를 보이고 있으며, 이로 인해 특정 부서에만 AI 역량이 집중되고 다른 부서는 상대적으로 뒤처지는 ‘AI 격차’ 현상이 발생하고 있습니다. 이러한 격차를 해소하기 위해서는 구성원 누구나 손쉽게 AI를 접하고, 활용하며, 업무 속에 자연스럽게 녹여낼 수 있는 기반이 마련되어야 합니다. 

이를 가능하게 해주는 것이 바로 사내 AI 플랫폼입니다.

사내 AI 플랫폼은 이러한 격차를 해소하고, 구성원 모두가 비슷한 수준의 AI 활용 능력을 갖추도록 돕는 중앙 허브 역할을 수행합니다.

AI 활용이 특정 개인이나 부서에만 국한되지 않고, 전사적으로 확산되기 위해서는 누구나 손쉽게 접근하고 사용할 수 있는 통합된 플랫폼이 필요합니다. 구성원 모두가 공통된 인터페이스에서 동일한 AI 경험을 하게 되면, 조직 내 AI 역량이 균일화되고 전체 퍼포먼스가 향상됩니다.

또한, 최근 생성형 AI의 도입이 늘어나면서 보안 이슈와 데이터 유출에 대한 우려도 함께 커지고 있습니다.

외부 생성형 AI 서비스를 사용할 경우, 내부 기밀 문서나 중요 정보가 외부 시스템에 전송되며 학습에 사용될 가능성이 존재합니다. 실제로 딥시크(DeepSeek) 등의 외부 모델이 사용자 입력을 학습하거나, 무단으로 데이터를 수집하는 사례가 보도된 바 있습니다. 이런 상황은 Shadow IT로 이어질 수 있으며, 조직이 통제하지 못하는 방향으로 AI 사용이 확산될 수 있습니다.

이러한 위험을 해결하기 위해서는 사내 보안 정책과 거버넌스를 수용할 수 있는 폐쇄형 AI 환경이 필요합니다.

예를 들어, AWS Bedrock의 PrivateLink를 활용하면 외부 인터넷과 격리된 네트워크 내에서 AI 서비스를 제공할 수 있으며, 사용자의 질의가 학습되지 않는다는 보장 하에 안전하게 운영할 수 있습니다. 이러한 기술적 기반은 사내 AI 플랫폼이 보안적으로도 신뢰받을 수 있는 중요한 요소입니다.

한편, 대규모 언어모델이 학습할 수 있는 공개 데이터는 이미 고갈된 상태입니다. 

새로운 성능 향상을 위해 필요한 고품질 텍스트 데이터는 점점 구하기 어려워지고 있으며, 외부에서 확보 가능한 데이터로는 기업의 고유한 문제를 해결하기 어렵습니다. 반면, 기업 내부에는 방대한 양의 데이터와 시스템이 존재합니다. 예를 들어 ERP, PLM 등 업무 시스템에는 실제 비즈니스 상황에서 생성되는 유의미한 정보가 축적되어 있으며, 이 데이터들은 기업이 필요로 하는 가장 실제적이고 구체적인 AI 학습 자원입니다.

2. AI 플랫폼은 어떻게 만들까

효과적인 사내 AI 도입을 위해서는 단순한 모델 접속 환경을 넘어서, 지속 가능한 아키텍처와 기술 전략을 갖춘 ‘AI 플랫폼’ 구축이 필수적입니다. 이 플랫폼은 단일 모델 접속이 아닌, 다양한 생성형 AI 모델의 선택적 활용, 조직의 업무 흐름에 맞는 도구화, 그리고 기업 고유의 지식을 연결하는 구조로 설계되어야 합니다.

AI 플랫폼은 크게 세 가지 구성 요소로 나눌 수 있습니다: Models, Tools, Knowledge입니다.

① Models: 다양한 생성형 AI 모델의 통합 운용

• 최신 모델 반영: 생성형 AI 분야는 기술 변화 속도가 매우 빠릅니다. 플랫폼을 통해 최신 모델을 빠르게 반영할 수 있는 구조를 갖추면, 사내 사용자들은 별도 설정 없이도 항상 최적의 성능을 경험할 수 있습니다.
  
• 다양한 모델의 활용: 하나의 모델에 국한되지 않고, 텍스트 생성, 이미지 생성, 비디오 생성, OCR, 임베딩 등 다양한 목적에 따라 Foundation Model(FM)을 선택적으로 활용할 수 있어야 합니다.
  
• AI 인프라 관리: 사내 AI 서비스의 안정적 운영을 위해 API Key 발급, 인증·인가 체계, 그리고 RPM(Requests per Minute), TPM(Tokens per Minute) 등의 사용량 제어 기능이 필요합니다. 또한 모니터링을 통해 사용 현황 및 비용을 추적할 수 있는 체계도 마련되어야 합니다.
  
• 에이전틱 AI 지원: AI가 AI를 호출하고 협업하는 구조를 도입해, 더 복잡한 업무를 자동으로 처리하고 결과의 완성도를 높이는 ‘에이전틱 AI’ 기능도 고려되어야 합니다.
  

② Tools: 유연하고 확장 가능한 AI 도구 환경

• 마이크로서비스 기반 기능 확장: 플랫폼이 제공하는 주요 기능들을 마이크로서비스 구조로 구현하면, 새로운 기능을 빠르게 구축하고 독립적으로 적용할 수 있어 민첩한 대응이 가능합니다.
  
• 레거시 시스템과 연계: ERP, PLM 등 기존의 사내 시스템과의 연동도 중요합니다. 이를 위해 함수 호출 기반의 인터페이스를 제공함으로써, AI가 실제 업무 데이터에 접근하고 실시간으로 동작할 수 있도록 해야 합니다.
  
• 모델 컨텍스트 프로토콜 (MCP): AI가 지속적으로 문맥을 이해하고 업무에 활용되기 위해, MCP와 같은 표준을 도입하여, 모델이 도구를 일관되게 사용할 수 있도록 해야 합니다.
  

③ Knowledge: 기업의 데이터를 AI에 연결

• 비정형 데이터는 RAG(Retrieval-Augmented Generation) 기반 접근을 통해 처리합니다. 문서, 이메일, 대화 기록 등 구조화되지 않은 데이터도 AI의 응답에 반영될 수 있도록 구성합니다.
  
• 정형 데이터는 TTS(Text-to-SQL) 방식으로 연결하여, ERP나 데이터베이스에서 나온 정보를 텍스트로 요약하거나 설명할 수 있게 합니다.
  

이러한 세 가지 축은 API, Tools, Knowledge로 이어지는 플랫폼 아키텍처를 형성하며, 조직 내 모든 AI 기능이 이 위에서 유기적으로 결합되고 진화할 수 있도록 설계됩니다.

3. 어떻게 조직을 변화시킬 수 있는가

조직 내 AI 활용을 촉진하고 업무 혁신을 이끌기 위해서는 사용자 친화적이고 강력한 사내 AI 서비스 제공이 필수적입니다. 이에 따라, 당사는 ‘Snap AI’라는 사내 생성형 AI 채팅 서비스를 도입하여 조직 변화를 주도하고 있습니다.

Snap AI는 클로드 3.7 모델을 기반으로 하며, 단순한 텍스트 질의응답을 넘어 파일 기반 질의 처리 기능까지 지원합니다. 이는 구성원들이 문서나 파일을 업로드하여 그 내용을 AI에 직접 질문할 수 있게 하여, 업무 활용도를 크게 높여 줍니다.

Snap AI의 차별점 및 주요 기능

• 외부 생성형 AI 서비스와 동일한 수준의 기능 제공
  사용자는 외부 AI 서비스와의 기능적 이질감을 느끼지 않도록 최적화된 AI 경험을 제공합니다.
  
• 다양한 모델 및 기능의 통합
  텍스트 생성 외에도, 파일 관련 질의, 실시간 웹 검색 등을 포함한 다채로운 AI 모델을 활용합니다.
  
• 고급 개인화 기능
  전문 번역 모델 API를 적용한 고품질 번역 서비스 제공, 그리고 사내 지식 기반 질의응답 기능을 통해 사용자의 업무 니즈에 최적화된 맞춤형 서비스를 지원합니다.
  
• AI 스튜디오(Agentic AI) 도입 계획
  AI끼리 협력하고 판단하는 ‘에이전틱 AI’를 활용한 업무 자동화 기능을 개발 중으로, 이는 향후 업무 효율성을 한층 더 높일 것으로 기대됩니다.
  

현재 Snap AI는 2900명 이상의 활성 사용자를 보유하고 있으며, 전사 사무직 임직원의 35% 이상이 이용 중입니다. 특히, 주당 4만 건 이상의 질의를 처리하며 조직 내 AI 활용의 확산과 정착을 실질적으로 입증하고 있습니다.

마무리하며

글 │ 메가존클라우드, AI&Data 부문 / AI Innovation, 유수경 Manager