[reinvent 2024] Degas는 AWS에서 생성형 AI를 활용하여 가나의 소규모 농부들을 지원

들어가며

이 세션을 통해 소농 농업의 디지털 혁신과 생성형 AI 기술이 어떻게 결합되어 가나의 농업 생산성을 높이고 지속 가능성을 강화하는지 살펴보았습니다. Degas는 농업 문제를 해결하기 위해 AWS와 협력하여 생성형 AI와 위성 데이터 기반 모델을 활용한 솔루션을 개발하고 있습니다.

이번 세션의 포인트는 다음과 같습니다.

• 지리 공간 기반 생성형 AI(Geospatial Generative AI)의 개념과 활용법
• 소농 농업에서 재생 농업을 지원하기 위한 AI 기술
• AWS의 SageMaker와 Kendra를 중심으로 한 AI 기반 챗봇 아키텍처의 설계와 확장 가능성

이번 세션은 농업 문제를 데이터와 기술로 해결하는 혁신적인 접근법을 이해하는 데 큰 도움을 줄 것입니다.

Degas의 배경과 미션

Degas는 가나를 중심으로 소농 농업 문제를 해결하기 위해 설립된 일본 스타트업입니다. 소농 농업은 가족 단위로 운영되는 소규모 농지에서 이루어지며, 가나와 같은 개발도상국 경제의 60%를 차지합니다. 그러나 전체 농지의 약 65%는 토양 비옥도가 감소한 상태로, 장기적인 식량 안보를 위협하고 있습니다.

Degas는 이러한 문제를 해결하기 위해 재생 농업(Regenerative Agriculture, RA)에 주목했습니다. 재생 농업은 토양 복원, 보존, 탄소 격리를 중심으로 한 지속 가능한 농업 방식입니다. 하지만 이 방식은 기존 농업보다 더 많은 지식과 기술이 필요하며, 지역의 기후와 토양 조건을 고려해야 하는 복잡한 특성이 있습니다. Degas는 이러한 난제를 해결하기 위해 AWS와 협력하여 기술 기반 솔루션을 개발하고 있습니다.

AI 기반 재생 농업 챗봇

Degas는 소농 농부들이 재생 농업 기술을 효과적으로 이해하고 적용할 수 있도록 AI 기반의 재생 농업 지원 챗봇을 개발했습니다. 이 챗봇은 AWS의 Amazon Bedrock을 통해 호스팅되는 LLM과 Amazon Kendra를 활용해 작동합니다.

챗봇 아키텍처의 핵심은 RAG(Retrieval-Augmented Generation) 기술입니다. RAG는 외부 지식 베이스에서 관련 정보를 검색해 이를 LLM에 추가하는 방식으로, 특정 주제에 대한 정확하고 전문적인 응답을 제공합니다. Degas는 재생 농업 매뉴얼과 위성 데이터, 농업 메타데이터를 RAG에 통합하여, 농부들에게 지역별 맞춤형 농업 지침을 제공하고 있습니다. 현재 이 챗봇은 65,000명의 농부들이 사용 중입니다.

다국어 지원과 지역화 전략

가나와 같은 지역에서는 다양한 로컬 언어가 사용되기 때문에, Degas는 챗봇의 다국어 지원과 지역화 전략을 도입했습니다. 이를 위해 100명 이상의 현지 에이전트를 고용하여 농부들과 직접 소통하고, 챗봇의 응답을 번역하거나 설명하는 역할을 맡기고 있습니다.

이 에이전트들은 Degas의 안드로이드 애플리케이션을 통해 챗봇의 정보를 농부들에게 전달합니다. 이를 통해 언어 장벽을 극복하고, 기술 활용도가 낮은 농부들도 챗봇의 혜택을 누릴 수 있도록 했습니다. 또한 Degas는 농업 생산량과 수확량 증가 데이터를 분석해 프로그램의 효과를 정량적으로 측정하고 있습니다.

지리 공간 기반 생성형 AI

Degas는 AWS SageMaker를 활용해 지리 공간 기반 생성형 AI 모델을 개발했습니다. 이 모델은 위성 이미지를 기반으로 토지의 상태와 변화 패턴을 분석합니다. 예를 들어, 산불 발생 지역이나 토지 침식 문제를 예측하거나, 작물 생산량을 추정할 수 있습니다.

지리 공간 모델은 위성 이미지의 일부를 마스킹하고, 모델이 이를 복원하도록 학습하는 방식으로 훈련됩니다. 이렇게 생성된 모델은 토지 커버 세분화, 산림 파괴 예측, 작물 수확량 예측과 같은 다양한 다운스트림 작업에 활용됩니다. 이 기술은 Degas가 농업 데이터를 더욱 정확하고 효율적으로 분석하는 데 도움을 줍니다.

SageMaker 기반 모델 훈련

Degas는 SageMaker를 활용해 4TB 이상의 위성 데이터를 처리하고, 100M 파라미터를 가진 지리 공간 모델을 훈련했습니다. SageMaker는 데이터 병렬 처리와 모델 병렬 처리를 지원하여, 여러 GPU 인스턴스에서 데이터를 나누어 병렬로 학습할 수 있도록 합니다.

이 과정에서 Degas는 SageMaker의 데이터 병렬 라이브러리를 활용해 훈련 시간을 대폭 단축했습니다. 예를 들어, 64개의 NVIDIA A100 GPU를 사용하여 100시간 내에 모델 훈련을 완료했습니다. 이 기술은 기존의 복잡한 분산 훈련 스크립트를 간소화하며, 연구자들에게 효율적인 훈련 환경을 제공합니다.

Degas 100M의 성능

Degas 100M은 ESA의 FilioBench와 NASA의 HLSBench 벤치마크 테스트에서 최고 성능을 기록했습니다. 특히 토지 커버 세분화와 작물 유형 감지 작업에서 기존 모델보다 10% 높은 정확도를 보였습니다.

이 모델은 AWS Marketplace에서 사용할 수 있으며, SageMaker Jumpstart를 통해 추가적으로 접근성을 제공합니다. 연구자들은 Degas 100M을 활용해 자신의 데이터에 맞게 파인튜닝을 진행할 수 있습니다.

재생 농업 성공 예측

Degas는 Degas 100M을 활용해 특정 재생 농업 기술이 특정 지역에서 성공할 가능성을 예측합니다. 이 모델은 기후 데이터, 토지 조건, 과거 작물 데이터를 결합해 지역 맞춤형 농업 전략을 제안합니다.

이를 통해 농부들은 성공 가능성이 높은 기술을 우선적으로 적용할 수 있으며, 자원을 효율적으로 활용할 수 있습니다. 이는 농업의 지속 가능성을 높이고, 장기적인 경제적 안정성을 제공합니다.

Degas의 미래 비전

Degas는 현재 3D 지리 공간 모델을 개발 중이며, 이를 통해 농작물 높이 측정, 도시 개발 평가, 산사태 감지 등의 작업을 지원할 계획입니다. 또한, 이 모델은 농업 외에도 다양한 산업에 활용될 수 있도록 확장성을 고려해 설계되고 있습니다.

Degas는 글로벌 확장을 목표로 하며, 전 세계 농업 문제 해결에 기여하기 위한 지속 가능한 기술 개발을 이어가고 있습니다.

결론

Degas는 AWS의 기술과 생성형 AI를 활용해 가나의 소농 농부들이 직면한 문제를 해결하고자 하는 혁신적인 접근을 보여주었습니다. 특히 재생 농업 지원을 위한 RAG 기반의 챗봇, 지리 공간 기반 생성형 AI, 그리고 AWS SageMaker를 활용한 대규모 모델 훈련이 주요 내용으로 다뤄졌습니다. Degas는 이러한 기술을 통해 농업 생산성을 높이고 지속 가능한 농업 생태계를 구축하는 데 성공적으로 기여하고 있습니다. 또한, 지역 농업 데이터와 글로벌 AI 기술을 결합하여 현지화된 솔루션을 제공하며, 65,000명 이상의 농부들이 기술의 혜택을 직접적으로 경험할 수 있도록 하고 있습니다.

이번 세션을 통해 AI와 클라우드 기술이 농업 문제 해결에 기여하는 방식과 그 잠재력을 확인할 수 있었습니다. 특히 RAG 기반 챗봇은 단순한 농업 정보를 제공하는 것을 넘어, 지역 맞춤형 안내를 통해 농부들이 재생 농업 기술을 쉽게 이해하고 적용할 수 있도록 돕습니다. 또한 지리 공간 기반 생성형 AI는 토지 상태를 분석하고 재생 농업의 성공 가능성을 예측하는 데 중요한 역할을 합니다. 이 기술은 농업뿐만 아니라 환경, 도시 계획, 재난 관리와 같은 다양한 분야로 확장될 가능성이 있다는 점에서 앞으로의 활약이 기대 됩니다.