[reinvent 2024] 스타트업이 AWS에서 생성형 AI로 혁신을 일으키는 방법

들어가며

이 세션에서는 AWS가 생성형 AI 서비스를 위해서 제공하는 다양한 서비스에 대해 소개하고, 업스테이지와 미리디의 사례를 소개합니다. 업스테이지는 Bedrock과 SageMaker를 이용하여 고객에게 파인 튜닝된 파운데이션 모델과 서비스를 제공하며, 미리디는 Bedrock을 통해 웹 기반 디자인 툴을 서비스하고 있습니다. 이 세션을 통해 AWS가 GenAI와 관련하여 어떤 서비스들을 제공하고 있는지, 업스테이지와 미리디가 AI 서비스를 제공하기 위해 어떻게 AWS 서비스를 사용하고 있는지 소개하겠습니다.

생성형 AI와 AWS

생성형 AI의 핵심 요소는 데이터, 파운데이션 모델, 클라우드 컴퓨팅 세가지로 꼽을 수 있습니다. 데이터는 차별화된 서비스를 만드는데 사용되는 핵심 자원이고, 방대한 데이터를 처리하고 학습시키는데 필요한 컴퓨팅 자원을 클라우드 컴퓨팅으로부터 획득하여 AI의 두뇌라고 할 수 있는 파운데이션 모델을 학습시킬 수 있습니다.

과거에는 정형 데이터 위주로 데이터가 사용되었다고 하면, 최근에는 이미지나 문서, 비디오와 같은 비정형 데이터도 사용할 수 있게 되었습니다.

워크로드가 요구하는 방식으로 데이터를 저장하고 사용할 수 있도록 AWS는 여러 종류의 데이터 저장소를 제공합니다. 특히 벡터 검색은 생성형 AI 어플리케이션 개발의 핵심적인 요소라고 할 수 있는데, OpenSearch, Aurora, PostgreSQL과 같은 다양한 서비스에서 지원합니다.

AWS에서는 두 가지 방식으로 다양한 파운데이션 모델을 사용할 수 있습니다.

• Bedrock : ANTHROPIC, Meta 등의 업계 최고의 AI 기업들의 AI를 서버리스 방식으로 사용
• JumpStart : upstage, LG, NC 등의 다양한 모델 제공업체의 생성형 AI 모델 및 데이터 전처리 모델들을 서버 기반으로 선택해서 활용 가능

생성형 AI 서비스는 프롬프트 엔지니어링, RAG, 에이전트 방식으로 점점 발전해나가고 있습니다. 이렇게 생성형 AI 서비스에 적용할 수 있는 다양한 기법들을 Amazon Bedrock Flows를 통해 코드 작성 없이 드래그앤드롭 방식으로 구성하는 것도 가능합니다.

이러한 AI 서비스 발전 과정에서 파운데이션 모델을 추가로 학습시켜 사용하는 파인튜닝이 주목받고 있습니다. 파인튜닝을 하면 학습 비용이 발생하긴 하지만, 각 단계의 모델 성능을 개선하면서 추론 과정에서의 긴 템플릿을 줄여 추론 과정에서의 비용을 줄일 수 있다는 장점이 있습니다.

업스테이지의 사례

업스테이지는 기업이 AI를 사용하려고 할 때, 기존에 가지고 있는 비정형 데이터를 AI에 적절하게 넣는 작업을 도울 수 있는 Document AI에 집중을 하고 있고, LLM을 이용해 이러한 데이터를 가지고 정보를 분석하고 인사이트를 도울 수 있는 서비스를 제공하고 있습니다.

Document AI는 비정형 데이터인 문서 이미지를 정형 데이터로 변환하는 기능을 제공하며, 단순히 텍스트만 뽑아내는 것이 아니라 문서의 구조 정보까지 추출하여 이용합니다.

보험 업계에서 보험금 청구에 사용되는 문서를 파싱하는 서비스를 제공했는데, 사람보다 높은 정확도로 문서를 분석할 수 있었다고 합니다. 한 보험사는 지난 10년동안의 데이터를 전부 파싱하여 얻은 데이터를 바탕으로 새로운 보험 상품을 개발하는데 사용했다고 합니다.

업스테이지에서는 Solar라는 이름의 LLM 서비스를 제공하고 있고, Solar는 파운데이션 모델을 고객사의 데이터로 파인튜닝해서 제공하는 LLM 서비스입니다.

• Solar Mini : 작은 모델로 범용적으로 쓰긴 힘들지만, 데이터를 이용해 학습시킨 특정 사용 사례에서는 저비용으로도 빠르고 우수한 성능을 보여줍니다
• Solar Pro : 22B 사이즈의 모델로 단일 GPU에서 추론 작업을 했을 때, 다른 모델들에 비해서 가장 우수한 성능을 보여줍니다. 단일 GPU에서 동작시키기 때문에 비용효율적이라고 합니다.
• Solar DocVision : 이미지와 텍스트를 동시에 다루지만 문서 이미지에 특화된 멀티 모달 LLM이라고 합니다.

파인튜닝을 하기 위한 인프라 자원의 관리는 쉽지 않은 일입니다. 업스테이지에서는 SageMaker를 이용하면서 기존에 인스턴스 기반으로 작업을 수행할 때에 비해 1/10수준으로 비용이 절감되었다고 합니다.

비정형 텍스트 데이터를 벡터 데이터베이스로 옮기는 작업이 필요한데, 이런 작업을 처리하는 것이 임베딩 모델입니다. Solar Mini를 이용하여 파인튜닝을 한 임베딩 모델을 이용했더니 전반적으로 성능이 향상되는 것을 확인할 수 있었다고 합니다. 다른 파이프라인을 모두 구성해놓은 상태더라도 임베딩 모델만 업스테이지의 임베딩 모델로 변경함으로써 전체 성능을 10%이상 올릴 수 있을 것이라고 합니다.

미리디의 사례

미리디는 웹 기반의 디자인 플랫폼을 제공하는 미리 캔버스를 서비스하고 있습니다. 미리캔버스에서도 AI를 이용한 기능들을 많이 제공하고 있습니다. 그 중 AI 프레젠테이션 서비스는 주제만 입력하면 거기에 맞는 내용과 이미지를 이용하여 프레젠테이션을 만들어준다고 합니다.

내부적으로 동작하는 방식은 아래와 같습니다.

1. 클라이언트에서 서버로 생성 요청을 보냄
2. 해당 정보를 데이터베이스에 저장(상태 관리 용도)
3. Bedrock에 생성 요청을 보냄
4. 일정 시간 간격으로 요청에 대한 응답을 polling함
5. 텍스트 생성이 끝나면 Bedrock에서 어플리케이션에 응답을 반환
6. 어플리케이션이 추가적인 이미지를 필요로 하면 이미지 서버에 이미지를 요청
7. 생성된 모든 정보를 데이터베이스에 저장
8. 생성된 모든 정보를 조합하여 결과를 만들어 디스플레이 함

미리캔버스는 세 단계에 걸쳐 프롬프트 엔지니어링을 수행하며 성능을 높이기 위해, Prompt Chaining 기법을 사용한다고 합니다. 구체적인 방법을 설명하지만 여기에는 정리하지 않겠습니다.

미리캔버스는 프레젠테이션을 생성할 때, 사용자에게 어떤 템플릿을 사용할 것인지에 대해 물어봅니다. 이 때, 원하는 템플릿을 더 쉽게 찾을 수 있도록 템플릿 추천 기능을 제공한다고 합니다. 템플릿 추천 기능은 아래와 같은 순서로 동작한다고 합니다.

1. Bedrock을 이용하여 이미지 템플릿의 특성을 추출하여 텍스트로 변환합니다.
2. 추출한 텍스트를 임베딩 모델을 이용하여 벡터로 변환하고 벡터 데이터베이스 저장합니다.
3. 고객은 자신이 원하는 템플릿이 어떤 것인지 데이터베이스에 계속하여 저장합니다.
4. 충분한 정보가 모이면 벡터 디비에서 유사도 검색을 하여 반환된 결과를 돌려줍니다

결론

이 세션에서는 GenAI에 대한 설명과 업스테이지와 미리디의 사례를 확인해 볼 수 있었습니다. GenAI가 최근들어 급부상하긴 했지만, 구체적으로 GenAI를 이용하여 어떻게 가치를 창출할 것인가는 아직 고민이 필요한 부분이라고 생각합니다. 이번 세션을 통해 GenAI를 잘 알지 못 했던 분들도 GenAI의 기본 원리와 서비스 구현 방법에 대해 이해하고, 비즈니스에 어떻게 접목시킬 수 있을지 인사이트를 얻어가셨으면 좋겠습니다.