PoC를 넘어서, 운영되는 GenAI로

들어가며

많은 금융사가 생성형 AI에 관심을 갖고 있습니다. 하지만 실제 현장에서는 늘 같은 질문이 반복됩니다.

“이걸 실제 업무에 써도 되는가?”
“보안과 거버넌스는 어떻게 통제할 것인가?”
“PoC 이후, 이걸 누가 운영하는가?”

기술은 이미 충분히 발전했지만, 생성형 AI가 ‘업무 인프라’로 자리 잡은 사례는 여전히 드뭅니다.

이번 글에서는 이러한 질문에 대해 하나의 현실적인 답을 제시한 IMM홀딩스의 GenAI 프로젝트를 살펴봅니다.

이 사례는 단순한 기술 도입이 아니라, 금융사가 GenAI를 어떻게 ‘운영 가능한 시스템’으로 전환할 수 있는지를 보여주는 Case입니다.

금융사의 현실적인 고민에서 출발하다

IMM홀딩스는 투자, 펀드관리, 리서치, 리스크, 관리 등 금융사의 핵심 기능을 모두 포괄하는 조직 구조를 가지고 있습니다.

이는 곧, 조직 내에 방대한 지식과 문서가 존재한다는 의미이기도 합니다.

• 내부 규정과 가이드
• 펀드 정관과 인수금융 문서
• 계약서와 과거 투자 자료
• 정기적으로 생성되는 각종 리서치 문서

문제는 지식의 양이 아니라 활용 방식이었습니다.

지식은 축적되어 있었지만, 업무 현장에서는 여전히 “찾고, 물어보고, 다시 정리하는” 방식이 반복되고 있었습니다.

AS-IS: 분산된 지식, 반복되는 업무

1) 흩어져 있는 사내 지식

사내 규정, 펀드 정관, 인수금융 자료, 희망재단 문서, 계약서는 각각 다른 시스템과 파일 형태로 분산되어 있었습니다.

그 결과,

• 동일한 질문이 반복적으로 발생하고
• 특정 담당자에게 문의가 집중되며
• 신규 입사자·인턴의 온보딩 부담이 지속적으로 증가했습니다.

2) 사람이 만드는 반복 문서

Quick Review, 뉴스 클리핑, Valuation Comps, 경제동향 리서치와 같은 문서는 주기적으로, 그리고 반복적으로 작성되고 있었습니다.

• 웹 검색
• 외부 데이터(DART, Capital IQ 등) 조회
• 수작업 정리 및 문서화

업무 자체는 정형화되어 있지만, 실행은 여전히 사람에게 의존하는 구조였습니다.

3) 계약서·내규 검토의 구조적 비효율

계약서와 내부 규정 검토는 특히 민감한 영역이었습니다.

• 과거 문서 검색에 많은 시간 소요
• 법무 인력 또는 외부 자문에 대한 의존
• 생성형 AI 활용 시 보안·데이터 유출에 대한 우려

IMM홀딩스 역시 생성형 AI의 가능성은 충분히 인지하고 있었지만, 외부 LLM을 그대로 사용하는 방식은 선택지가 아니었습니다.

접근 방식의 전환: “도구”가 아니라 “플랫폼”

이 지점에서 IMM홀딩스는 하나의 명확한 선택을 합니다.

개인이 쓰는 생성형 AI가 아니라, 조직이 운영할 수 있는 GenAI 플랫폼을 만들자.

이 선택에는 세 가지 전제가 있었습니다.

핵심 방향성

1. PoC가 아닌, 운영 가능한 구조

2. Quick-win으로 효과를 검증하고 확장 가능한 아키텍처

3. 금융사에 필수적인 보안·거버넌스를 전제로 한 설계

즉, “기술을 시험해보자”가 아니라 “업무 구조를 바꾸자”는 접근이었습니다.

Solution ① 생성형 AI 기반 사내 통합 지식 플랫폼

첫 번째 해법은 명확했습니다. 사내 지식을 하나의 인터페이스로 통합하는 것입니다.

무엇을 했는가

• 정형·비정형 데이터를 통합한 Knowledge Base 구축
• 사내 문서 자동 적재 및 인덱싱
• 자연어 기반 통합 검색 및 질의응답(RAG)

기술적 설계 포인트

• OpenSearch 기반 검색 구조
• LLM 응답과 근거 문서의 연결
• 사용자 화면과 관리자 화면 분리
• IMM홀딩스 전용 테넌트 구성으로 보안·거버넌스 확보

이 구조를 통해 임직원은 이제 “문서가 어디에 있는지”를 알 필요가 없어졌습니다.

필요한 것은 단 하나, “무엇이 궁금한지”를 자연어로 묻는 것 뿐이었습니다.

Solution ② Quick-win 중심 AI 문서 생성 Agent

두 번째 단계는 가장 많은 시간이 소모되던 영역, 반복 문서 업무에 집중하는 것이었습니다.

1차 Quick-win 과제

• Quick Review 문서 자동 생성
• 뉴스 클리핑 자동화
• 계약서 검토 지원

2차 확장 과제

• Valuation Comps 작성
• 경제동향 리서치
• 리서치·리스크 데이터 수집

작동 방식

• 자연어 요청
• 문서 스키마 자동 생성
• 내부 Knowledge Base와 외부 데이터(API) 결합
• AI가 초안을 생성하고, 사용자가 검토·보완

중요한 점은, 이 접근이 “AI가 문서를 대신 써준다”는 개념이 아니라는 것입니다.

IMM홀딩스는 문서 작성의 ‘출발점’을 자동화하는 데 초점을 맞췄습니다.

사람은 여전히 판단하고 결정하지만, 불필요한 반복 작업에서 벗어나게 된 것입니다.

Solution ③ 계약서·규정 특화 RAG + Agent

계약서와 내부 규정처럼 민감한 영역에는 별도의 문서 유형 특화 RAG 파이프라인이 적용되었습니다.

• 조항 단위 분석
• 검토 의견 자동 생성
• 원문 위치 추적 및 근거 제시

이는 단순 요약이나 검색이 아니라, 설명 가능한 AI(Explainable AI)를 전제로 한 설계였습니다.

“왜 이런 답이 나왔는가?”를 언제든지 확인할 수 있어야 했기 때문입니다.

결과: 무엇이 달라졌는가

정량적 변화

• 반복 문의 대응 감소
• 문서 작성 및 정보 검색 소요 시간 단축
• 단순·반복 업무 자동화를 통한 업무 집중도 향상

정성적 변화

• 사내 지식의 중앙 집중화 → 조직 기억(Organizational Memory) 확보
• 문서 품질의 표준화 및 일관성 확보
• 생성형 AI에 대한 내부 수용도와 활용 역량 제고
• Shadow IT 감소, 통제 가능한 AI 활용 문화 정착

이 프로젝트의 핵심은 어떤 모델을 썼는지, 어떤 최신 기술을 적용했는지가 아닙니다.

• GenAI를 단발성 실험이 아닌 업무 인프라로 다뤘다는 점
• Quick-win → 확장 → 고도화로 이어지는 현실적인 로드맵
• 금융사가 요구하는 보안·거버넌스를 전제로 한 구조적 설계

IMM홀딩스 사례는”금융사가 GenAI를 어떻게 실제 업무에 안착시키는가”를 보여주는 대표적인 Lighthouse Case입니다.

마무리하며

생성형 AI는 이미 충분히 강력합니다. 이제 남은 질문은 기술이 아니라 조직의 선택입니다.

“우리 조직의 AI는 개인이 쓰는 도구인가, 아니면 조직이 운영하는 시스템인가?”

IMM홀딩스의 사례는 이 질문에 대해 ‘운영되는 GenAI’라는 하나의 분명한 답을 제시하고 있습니다.

※ 본 사례는 AWS Generative AI 프로그램의 지원을 받아 수행된 프로젝트를 기반으로 작성되었습니다.

공유하기