[reinvent 2024] 효과적이고 비용 효율적인 생성형 AI 앱을 위한 7가지 원칙

들어가며

점점 GenAI 프로젝트가 많아지면서 도메인도 다르고, 요구 조건 및 아키텍처가 달라지면서 고려해야 하는 부분이 많아지고 있다고 느껴졌습니다. 이번 세션을 통해 이러한 다름에도 프로젝트를 위한 원칙을 알고 있다면  더욱이 성공적으로 끝마칠 수 있지 않을까 기대하며 들어갔습니다.

점점 GenAI 프로젝트가 많아지면서 도메인도 다르고, 요구 조건 및 아키텍처가 달라지면서 고려해야하는 부분이 많아지고 있다고 느껴졌습니다. 이번 세션을 통해 이러한 다름에도 프로젝트를 위한 원칙을 알고 있다면  더욱이 성공적으로 끝마칠 수 있지 않을까 기대하며 들어갔습니다.

생성형 AI 도입 시 직면하는 주요 도전 과제

1. 보안 및 데이터 보호

Generative AI는 종종 민감한 데이터를 처리하기 때문에, 데이터 보호와 보안이 가장 중요한 우선순위가 됩니다. 기업은 데이터가 유출되거나 오용되지 않도록 안전한 환경을 구축해야 합니다.

2. 속도와 비용

Generative AI를 도입하면 혁신 속도가 빨라질 수 있지만, 기술의 급격한 발전은 도구와 모델의 변경 주기를 단축시켜 조직에 추가적인 비용 부담을 안겨줍니다.

3. 조직 내 혁신과 규제의 균형

혁신을 추구하는 기업들은 엄격한 규제가 발전 속도를 제한할 가능성을 염려합니다. 조직은 AI 프로젝트를 추진하며 규제 요구사항을 충족해야 하며, 이는 복잡한 과제로 작용할 수 있습니다.

이러한 과제들은 AI의 발전이 빠르게 진행됨에 따라 더욱 심화되고 있습니다.

AI의 복잡성과 강력함: 급격한 발전과 새로운 도전

Generative AI는 이제 단순한 언어 모델 이상의 역할을 수행하며, 점점 더 복잡하고 정교한 애플리케이션으로 확장되고 있습니다. Generative AI를 도입하는 과정에서 많은 조직은 혁신과 위험 사이에서 균형을 맞춰야 합니다.

성공적인 Generative AI 프로젝트를 위한 7가지 원칙

1. 보안을 최우선으로 고려하기

Generative AI를 도입하는 과정에서 데이터 보안과 모델 신뢰성 확보는 가장 중요한 요소 중 하나로 강조되었습니다. 

Amazon Bedrock은 고객의 데이터가 학습 과정에서 제3자 모델로 유출되지 않도록 철저히 보호하며, 데이터 암호화와 지역 내 데이터 저장을 통해 높은 수준의 보안성을 제공합니다. 또한, 조직 내부에서 접근 통제를 강화하고 민감 데이터의 보호 조치를 표준화하는 것도 중요한 포인트로 제시되었습니다.

2. 작은 문제에서 시작하기

Generative AI 프로젝트의 성공은 명확하고 해결 가능한 비즈니스 문제를 정의하는 데서 출발합니다. 이를 위해 “Get Oriented Mindset”, “Think Outside the Box”, “Iterative Experiments”의 세 가지 접근법이 강조되었습니다.

[ Get Oriented Mindset ]

프로젝트 초기에 팀은 명확한 목표와 문제를 정의하고, 현재 가용한 데이터와 리소스를 분석해 실행 가능성을 점검해야 합니다. 이 단계에서 지나치게 거대한 목표를 설정하기보다는, 해결 가능한 작은 문제에 초점을 맞추는 것이 중요합니다.

[ Think Outside the Box ]

기존 방식의 틀을 깨고 창의적인 해결책을 모색하는 과정이 필수적입니다. 예를 들어, 기존의 고객 지원 프로세스에서 AI 기반 챗봇을 도입하거나, 내부 운영 효율성을 높이기 위한 새로운 방안을 모색할 수 있습니다.

[ Iterative Experiments ]

작은 성공을 기반으로 지속적으로 실험하고 결과를 검토하며 개선해나가는 접근 방식이 중요합니다. 이는 Amazon SageMaker와 같은 AWS 서비스를 통해 빠른 프로토타입 제작과 반복 실험을 가능하게 합니다. 이를 통해 프로젝트 리스크를 줄이고, 최적의 솔루션을 빠르게 찾아낼 수 있습니다.

3. 데이터를 기반으로 한 접근

Generative AI 프로젝트의 성공은 데이터의 품질과 관리 능력에 크게 좌우됩니다. 이 과정에서 데이터 거버넌스, 품질, 그리고 처리 방식이 강조되었으며, 특히 데이터 프로세스의 독창성이 차별화된 해결책을 만드는 열쇠라는 점이 강조되었습니다.

“데이터 프로세스는 곧 경쟁력이다”

세션에서는 “Your data and processes are unique and will help you differentiate your solution”라는 문장이 핵심 메시지로 언급되었습니다. 이는 데이터 처리 과정이 단순한 기술적 요소가 아니라, 기업이 독창적이고 차별화된 AI 솔루션을 개발하는 데 중요한 경쟁 우위 요소임을 의미합니다. 각 조직의 고유한 데이터 프로세스는 시장에서의 차별화를 가져오며, 이를 통해 AI 모델이 비즈니스에 맞춤화된 인사이트와 결과를 도출할 수 있습니다.

[ 데이터 품질 및 처리의 중요성 ]

데이터의 품질은 모델 성능을 결정짓는 주요 요인입니다. 잘 정제되지 않거나 라벨링이 불완전한 데이터는 모델 결과의 신뢰도를 저하시킬 수 있습니다. 따라서 정제(cleaning), 변환(transforming), 라벨링 등 체계적인 데이터 관리 프로세스가 필수입니다.

[ 빙산의 일각 같은 데이터 관리 ]

데이터 관리의 중요성은 종종 프로젝트 초기에 간과되기 쉽습니다. 하지만 데이터가 제대로 수집되고 처리되지 않으면, 실제로 활용 가능한 데이터는 빙산의 일각에 불과하게 됩니다.

4. 속도와 확장성을 동시에 고려하기

Gen AI 프로젝트에서 빠른 속도로 실험하고 반복하는 것은 중요한 경쟁 요소 중 하나입니다. 그러나 단순히 빠른 실행만으로는 부족하며, 장기적으로 조직이 성장할 수 있는 확장성까지 고려해야 합니다.

[  빠른 실행을 가능하게 하는 민첩성 ]

AI 프로젝트는 불확실성과 변동성이 높기 때문에 빠르게 실험하고 결과를 도출할 수 있는 민첩성이 필요합니다. 이 과정에서 **Iterative Experiments(반복적 실험)**와 같은 접근 방식이 중요하며, 이를 통해 실패를 빠르게 식별하고 성공 가능성을 높일 수 있는 방향으로 조정할 수 있습니다. 세션에서는 AWS의 다양한 도구를 활용한 실험 환경 구축 사례가 소개되었습니다.

[ 확장성을 고려한 설계 ]

속도와 민첩성은 단기적인 프로젝트 성공을 위해 필요하지만, 확장성은 장기적인 성공을 결정짓는 요소입니다. 세션에서는 “속도와 확장성을 어떻게 통합할 수 있는가?”라는 질문을 중심으로, 초기 설계 단계에서부터 확장을 염두에 둔 시스템 구축의 중요성이 언급되었습니다.

AWS의 Amazon SageMaker와 Amazon Bedrock은 이런 요구를 충족하는 데 이상적인 도구로, 초기에는 소규모 프로젝트를 빠르게 실행하면서도 장기적으로 확장 가능한 인프라를 제공합니다.

[ 속도와 확장성을 조화롭게 통합하기 ]

빠른 속도로 움직이면서도 장기적인 확장을 고려하려면, 조직은 프로세스와 기술 스택 간 균형을 맞춰야 합니다. 예를 들어, 확장성이 낮은 시스템은 단기적으로 유리할 수 있지만, 장기적으로는 비용 증가와 효율성 저하로 이어질 가능성이 큽니다. 

5. 성과 측정과 적응

Generative AI 프로젝트에서 명확한 성과 지표(KPI)를 설정하고 지속적으로 이를 측정 및 조정하는 것은 성공을 위한 핵심적인 원칙 중 하나입니다.

[ 성과를 측정하는 명확한 기준 ]
모든 AI 프로젝트는 측정 가능한 성과 지표를 기반으로 계획되어야 하며, 이를 통해 결과를 평가하고 개선할 수 있는 피드백 루프를 형성해야 합니다. 세션에서는 다음과 같은 핵심 KPI가 언급되었습니다

• 모델 성능(정확도, 재현율 등)
• 비용 대비 효율성
• 비즈니스 목표 달성도(예: 매출 증대, 고객 만족도 향상 등)

[ 적응 가능한 프로세스 설계 ]
환경 변화와 요구사항에 맞게 프로젝트를 조정할 수 있어야 합니다. Generative AI는 기술적, 사업적 불확실성이 높은 분야이기 때문에, 초기 성과가 목표에 부합하지 않는 경우에도 신속하게 문제를 분석하고 적응하는 민첩성이 필요합니다.

[ 반복적 실험과 피드백 루프 강화 ]
세션에서는 AWS 서비스(예: SageMaker와 Bedrock)가 실험 데이터를 자동으로 분석하고 학습하여 개선 방향을 제시하는 방식이 소개되었습니다. 이를 통해 프로젝트는 지속적으로 학습하고 적응하면서, 더 나은 결과를 도출할 수 있었습니다.

6. 사람과 조직 문화에 투자하기

Gen AI 프로젝트는 기술적인 요소뿐만 아니라, 이를 수용하고 활용할 수 있는 조직의 문화와 인재가 성공의 열쇠가 됩니다. 세션에서는 조직 전반에 걸친 변화 관리와 기술 수용의 중요성을 강조했습니다.

Generative AI의 도입은 단순히 기술 인프라를 구축하는 것을 넘어, 기존의 업무 방식과 조직 문화에 큰 변화를 요구합니다. 세션에서는 변화 관리를 통해 직원들이 새로운 기술을 수용하고 활용할 수 있도록 지원해야 한다고 언급했습니다.

• 리더십의 적극적인 지원
• 교육과 훈련 프로그램 제공
• 새로운 프로세스와 기술을 실험할 수 있는 안전한 환경 제공
• 조직의 AI 역량 강화

Gen AI는 기술 전문가뿐만 아니라, 비즈니스 전문가, 디자이너, 데이터 분석가 등 다양한 인재의 협력이 필요한 영역이며  팀 구성원들의 AI 관련 역량을 강화하고, 협업을 촉진하는 환경을 만드는 것이 중요하다고 강조했습니다.

[ 조직 문화의 진화 ]
AI 기술은 조직 문화와 긴밀히 연결되는 구조로 책임감 있고 투명한 AI 사용을 위한 정책 마련, 윤리적 의사결정 체계 구축, 그리고 실패를 학습 기회로 보는 문화 조성이 성공적인 프로젝트의 기반이 된다고 설명했습니다.

7. 신뢰성 구축하기

Gen AI 기술이 비즈니스에서 중요한 역할을 차지하게 되면서, AI 시스템의 신뢰성 구축은 필수적인 원칙으로 다뤄졌습니다.

[ AI 시스템의 일관성 유지 ]
Generative AI는 그 복잡성과 강력함에도 불구하고, 그 결과물에 대해 예측 가능한 일관성을 유지해야 합니다. 사용자는 AI의 결정을 신뢰할 수 있어야 하며, 이는 모델의 학습 과정과 의사결정 프로세스가 명확하게 정의되고 투명하게 운영될 때 가능합니다.

[ 책임감 있는 AI 사용 ]
AI가 일으킬 수 있는 윤리적 문제나 오류를 사전에 방지하고, AI의 결정이 비즈니스에 미치는 영향을 최소화하는 것이 중요합니다. 이를 위해 AI 시스템의 책임성을 명확히 하고, 각 단계에서 발생할 수 있는 위험 요소를 예측하고 대처하는 시스템을 마련해야 합니다.

• AI 거버넌스 정책을 마련하여, 시스템이 법적, 윤리적 기준을 충족하도록 합니다.
• 모델 투명성을 보장하여, AI의 결정을 사람들에게 명확히 설명할 수 있도록 합니다.
  
  

[ 고객과의 신뢰 관계 구축 ]
AI 시스템을 운영하는 기업은 고객과의 신뢰를 쌓는 것이 핵심입니다. AI 시스템이 제공하는 결과에 대해 신뢰를 구축하려면, 고객에게 그 프로세스와 결과를 이해할 수 있는 방법을 제공해야 하며, 보안과 개인정보 보호를 우선적으로 고려해야 합니다.

• 데이터 보호와 보안을 강화하여, 고객의 정보를 안전하게 처리하고, 그 정보를 제3자와 공유하지 않음을 보장합니다.
• 고객의 피드백을 적극적으로 수렴하여 AI 시스템의 신뢰성을 지속적으로 개선합니다.
  
  

[ 지속적인 모니터링 및 피드백 ]
신뢰성 있는 AI 시스템은 한 번 구축하고 끝나는 것이 아니라, 지속적으로 모니터링하고 피드백을 받아 개선해 나가야 합니다. AI의 결과물에 대한 정기적인 검토와 성과 분석을 통해 문제가 발생했을 때 신속하게 대응할 수 있도록 합니다.

ASAPP : AI 기반 Contact Center의 성공 사례

ASAPP는 Generative Agent를 활용하여 AI 기반 고객 센터를 혁신했습니다. Generative Agent는 AI가 고객의 요청을 이해하고 자연스러운 대화를 통해 문제를 해결하는 자율적이고 복합적인 에이전트입니다. 이 에이전트는 기존의 규칙 기반 시스템을 넘어서, 자기 학습 및 적응이 가능한 시스템입니다.

결론