[reinvent 2024] AWS를 통한 데이터 거버넌스 혁신

Analytics

Summary

이 세션은 Natera, NatWest, Amazon 세 회사의 데이터 거버넌스 사례를 기반으로 진행한 패널 토크 형식의 세션입니다. 실제 고객사에서 사용되고 있는 데이터 통합과 품질 자동화, 확산 방지를 위한 데이터 큐레이팅, 중앙 집중식 카탈로그 사용 방식에 대해 소개합니다.


리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?

Tech Blog

AWS re:Invent 2024 Tech Blog written by MegazoneCloud

Overview

  • Title: Innovating data governance with AWS
  • Date: 2024년 12월 4일(수)
  • Venue: Mandalay Bay | Level 3 South | South Seas F
  • Speaker:
  • Shikha Verma(Head of Product, AWS)
  • Jorn Deiseroth(CIO Volkswagen Poznań, Volkswagen Poznań Sp. z o.o.)
  • Mirko Buholzer(VP, Software Engineering, Natera)
  • Zachery Anderson(Chief Data and Analytics Officer, NatWest)
  • Industry: Cross-Industry Solutions

들어가며

이번 세션에서는 Natera, NatWest, Amazon 세 회사의 예시를 들어 그들이 데이터 거버넌스를 어떤 식으로 이루었는지를 다루었습니다. 실제로 세 회사에서 사용되고 있는 Gen AI를 활용한 데이터 통합과 품질 자동화, 확산 방지를 위한 데이터 큐레이팅, 중앙 집중식 카탈로그 사용 방식에 대한 소개를 전달드리겠습니다.

1. Natera의 사례 : 헬스 케어

Natera는 유전자 검사 실험실로, 유전자 샘플 수집, DNA 시퀀싱, 해석 및 결과 분석 등을 진행합니다. 주로 유전자 데이터와 임상 데이터를 결합해 분석하고 정보를 추출하는 일을 하는데, 이전에는 이 과정이 모두 수작업으로 이루어졌습니다. 그러나 현재는 LLM을 활용해 다양한 비정형 데이터를 처리하고, 환자의 임상 정보를 EMR 및 다른 툴을 활용해 접근하는 것이 가능해졌다고 합니다.

환자의 의료 이력과 실험실의 결과를 시각적으로 표시하는데에 LLM을 활용하고, 이렇게 시각적으로 표현된 것을 의사에게 전달합니다. 의사는 시각적 지표를 통해 유사한 지표를 가진 환자간 비교를 할 수 있고, 치료하는 타임라인을 설정하는 등의 치료 전략을 세우는 데에 도움을 주고 있다고 합니다.

2. NatWest의 사례 : 금융 서비스

NatWest는 영국의 상업 은행으로 데이터 분석의 혁신이 비즈니스 운영에 어떤 영향을 미치는 지에 대해 이야기 해주었습니다. NatWest는 고객 통화 요약, 고객의 정보 추출 및 요약, 사기 탐지 개선 서비스에 AI를 적용했습니다. 
각각의 기능 및 이점은 다음과 같습니다. 
  • 고객 통화 요약 시스템 : 자연어 처리 기술 (NLP)를 활용해 고객과의 통화 내용 중 중요한 정보와 데이터 포인트를 자동으로 요약해 업무를 수행하는 사람들로 하여금 그 내용을 참고할 수 있게 했습니다.
  • 고객 정보 분석 : 여러 시스템에 분산된 고객의 데이터를 추출하고 요약하는 도구를 개발해서 업무 수행자들이 고객의 정보를 참고해 의사결정을 할 수 있도록 시스템화 하였습니다. 
  • 사기 탐지 및 조사 : 이 기술은 은행 내부의 계좌 뿐만 아니라 외부 계좌와의 상호작용을 분석할 수 있는 그래프 임베딩을 사용하여 복잡한 사기 네트워크를 식별하기 위한 기술입니다. 이를 사용해 복잡한 사기 사건의 조사 기간을 크게 줄일 수 있었다고 합니다.

3. Amazon의 사례 : 운송 서비스

아마존은 물품을 판매하는 기업으로서 고객에게 상품을 정확하게 배송하는 것이 중요합니다. 매일 페타바이트 규모의 배송 데이터가 생성되는데, 이런 정보가 여러 시스템에 흩어져 있고, 이것을 관리하기 위해 5만 명 이상의 인력이 필요하다고 합니다. 아마존은 시스템 기반 Knowledge graph를 사용해서 데이터 간의 상관관계를 파악하고, 머신러닝을 사용해 분석했는데, 이 분석이 북미와 유럽에 걸쳐 91%에 달하는 수용성을 기록했다고 합니다.

아마존은 처리가 필요한 데이터는 중앙 집중형 카탈로그와 보안 시스템을 통해 관리했고, 이를 통해 데이터 거버넌스가 효율적으로 이루어지게 구성하였습니다.

결론

이번 세션에서는 세 기업의 구체적인 예시를 통해 AI 기술이 의료 데이터, 금융 데이터, 운송 데이터 등 다양한 분야에서 실질적으로 활용되고 있으며, 이를 통해 데이터 기반 의사결정을 강화하고 Gen AI로 혁신적인 성과를 달성한 방식을 확인할 수 있었습니다. 
Netera는 의료 데이터를 시각화 해 치료 전략을 지원했고, NatWest는 고객 금융 데이터의 분석 및 사기 탐지로 업무의 효율성을 높였고, 아마존은 물류 데이터를 체계적으로 관리해 글로벌 운영의 안정성과 효율성을 높였습니다. 이러한 사례들은 데이터의 특성과 기업의 목표에 따라 AI 기술이 어떻게 적용되고 긍정적인 효과를 가져오는지를 보여주었고, 앞으로의 데이터 활용 전략에 중요한 아이디어를 제공하는 의미 있는 세션이었습니다.
글 │메가존클라우드, AI & Data Analytics Center(ADC), Data Application Support Team, 엄유진 매니저
리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?
게시물 주소가 복사되었습니다.