[reinvent 2024] AWS에서 생성형 AI를 활용하여 모든 날씨 조건에서 정확한 지구 관측 데이터를 제공

들어가며

이 세션을 통해 생성형 AI와 위성 데이터 기술이 결합되어 전 세계적으로 기상 조건에 구애받지 않는 정확한 지구 관측 데이터를 제공하는 방법에 대해 살펴보았습니다. 이 세션에서는 AWS와 SatSure Analytics의 협력을 중심으로, 지리 공간 데이터 활용과 농업, 금융, 방위 분야에서의 응용 사례를 자세히 소개했습니다.

특히 위성 데이터를 활용한 애플리케이션은 기후 변화와 농업 생산성 관리, 자연재해 예방 등 다양한 글로벌 문제를 해결하는 데 필수적입니다. 그러나 구름, 대기 조건, 데이터 누락 등의 문제로 인해 위성 데이터의 품질이 종종 저하될 수 있다는 한계가 있습니다. 이를 해결하기 위해 AWS와 SatSure는 생성형 AI 기술과 AWS SageMaker를 활용하여 위성 데이터 품질을 향상시키고, 이 데이터를 실시간으로 분석할 수 있는 플랫폼을 구축했습니다.

이번 세션의 주요 내용은 다음과 같습니다.

• 위성 데이터의 품질 문제를 극복하기 위한 생성형 AI 기술의 역할
• AWS 기반 대규모 데이터 처리와 모델 훈련 기술
• 생성형 AI와 머신러닝(ML)이 지구 관측 데이터의 품질과 응용 가능성을 어떻게 혁신적으로 개선할 수 있는지에 대한 통찰

이 세션을 통해 AWS 기술이 글로벌 농업 및 환경 문제를 해결하는 데 어떻게 기여할 수 있는지 심층적으로 이해하는 기회가 되었습니다.

SatSure Analytics의 미션과 비전

SatSure Analytics는 농업 및 금융 분야에서 혁신적인 데이터 중심 솔루션을 제공하는 선도 기업으로, 특히 인도의 소규모 농부들을 지원하는 데 중점을 두고 있습니다. 인도의 농업 인구는 전체 인구의 50%를 차지하지만, 농업 GDP 기여도는 12%에 불과합니다. 대부분의 농부들이 금융 지원에서 배제된 상황에서, SatSure는 이러한 문제를 해결하기 위한 다양한 기술적 접근법을 도입하고 있습니다.

특히 SatSure는 재생 농업(Regenerative Agriculture)을 촉진하기 위해 농업 데이터를 활용합니다. 재생 농업은 토양의 복원과 탄소 격리를 통해 지속 가능성을 높이는 농업 방법으로, 지역 농업 문제를 해결하는 데 효과적인 방식으로 주목받고 있습니다. SatSure는 농부들이 위성 데이터와 지리 공간 기술을 활용해 농업 관리 결정을 최적화할 수 있도록 지원하며, 이는 농업 생산성을 높이고 지속 가능한 생태계를 구축하는 데 기여합니다.

생성형 AI를 활용한 데이터 품질 개선

위성 데이터는 구름, 대기 조건, 조명 변화 등의 다양한 환경적 요인으로 인해 품질이 저하될 수 있습니다. SatSure는 이러한 문제를 해결하기 위해 생성형 AI 모델을 도입했습니다. 생성형 AI는 저해상도 데이터나 손상된 데이터를 복원하고 고해상도 이미지로 변환하여 품질 문제를 해결합니다.

이 모델은 Sentinel-1과 Sentinel-2 데이터를 통합하여 작동하며, 시간적 및 공간적 데이터를 기반으로 손실된 정보를 복원합니다. 예를 들어, 구름으로 인해 가려진 농경지 이미지를 복원하여 농작물 상태를 정확히 평가할 수 있습니다. 생성형 AI는 위성 데이터의 품질을 향상시킬 뿐만 아니라, 이를 기반으로 한 금융 및 농업 의사 결정의 신뢰성을 크게 향상합니다.

AWS SageMaker를 활용한 모델 훈련

SatSure는 AWS SageMaker를 활용해 약 22TB의 위성 데이터를 처리하고, 100M 파라미터를 가진 생성형 AI 모델을 훈련했습니다. SageMaker는 데이터 병렬 처리 및 GPU 클러스터링을 통해 대규모 데이터를 효과적으로 처리하며, 기존의 복잡한 모델 훈련 과정을 간소화합니다.

이 과정에서 SatSure는 SageMaker의 분산 학습 환경을 활용하여 64개의 NVIDIA A100 GPU를 사용, 모델 훈련 시간을 기존 25일에서 1일로 단축했습니다. 이러한 최적화는 데이터 과학자들이 신속하게 결과를 도출하고, 현장에서 데이터 기반 의사 결정을 빠르게 내릴 수 있도록 지원합니다.

데이터 전처리와 품질 관리

위성 데이터는 다양한 센서에서 수집되기 때문에, 데이터의 정확도를 보장하기 위해 철저한 전처리 과정이 필요합니다. SatSure는 캘리브레이션, 코레지스트레이션, 노이즈 제거 등 다양한 전처리 기술을 적용하여 데이터 품질을 개선했습니다.

예를 들어, Sentinel-1 데이터와 Sentinel-2 데이터를 결합할 때, 각 데이터 간 색상과 위치 차이를 보정해 데이터 간의 일관성을 유지했습니다. 이처럼 정교한 전처리 작업은 AI 모델 훈련 시 발생할 수 있는 오류를 줄이고, 데이터 분석의 신뢰성을 높이는 데 기여합니다.

배치 및 실시간 추론 전략

SatSure는 AWS SageMaker를 활용해 배치 추론과 실시간 추론을 효과적으로 수행했습니다. 배치 추론은 대규모 데이터를 주기적으로 분석하는 데 사용되며, 보통 10일 단위로 농작물 상태를 평가하는 데 활용됩니다.

반면 실시간 추론은 재난 관리나 급격한 환경 변화 대응 등 즉각적인 분석이 필요한 상황에서 사용됩니다. 비용 효율성을 극대화하기 위해 SatSure는 Spot Instances를 활용하여 추론 비용을 줄였으며, SageMaker Serverless Inference를 통해 워크로드의 유연성을 확보했습니다.

금융 포용성을 위한 데이터 활용

SatSure는 신뢰할 수 있는 데이터를 기반으로 농업 대출 프로세스를 지원합니다. 예를 들어, 특정 농경지의 작물 생산량 데이터를 분석해 대출 한도를 설정하거나, 대출 신청을 평가하는 데 사용됩니다.

이러한 데이터 중심 접근법은 농부들이 고리 대금업이나 비공식 금융 시스템에 의존하지 않도록 돕고, 금융 포용성을 확대하는 데 중요한 역할을 합니다. 이는 소규모 농부들이 더욱 안정적인 경제 환경에서 활동할 수 있도록 지원합니다.

생성형 AI의 확장 가능성

SatSure의 생성형 AI 기술은 농업뿐만 아니라 환경 모니터링, 도시 개발, 재난 관리와 같은 분야에서 활용될 수 있습니다. 특히 구름이나 조명으로 인해 손실된 데이터를 복원하는 기술은 다양한 산업에서 데이터 품질을 높이는 데 기여할 수 있습니다.

SatSure Cygnus의 미래 비전

SatSure는 SatSure Cygnus 플랫폼을 통해 전 세계 농업과 환경 문제를 해결하고자 합니다. 이 플랫폼은 모든 기상 조건에서도 고품질 데이터를 제공하며, 농업뿐만 아니라 환경 보호, 도시 계획 등 다양한 글로벌 이슈에 기여할 수 있습니다.

결론

이번 세션은 SatSure Analytics가 AWS와 생성형 AI를 활용해 농업과 금융 문제를 해결하는 혁신적인 접근법을 보여주었습니다. 특히 대규모 위성 데이터를 처리하고 분석하는 AWS SageMaker와, 품질이 저하된 데이터를 복원하는 생성형 AI의 역할이 강조되었습니다. SatSure는 이러한 기술을 통해 농업 생산성을 높이고, 금융 포용성을 확대하며, 지속 가능한 농업 생태계를 구축하고 있습니다.

데이터 품질과 AI 기술이 결합될 때 농업과 금융 문제를 해결하는 데 얼마나 큰 변화를 가져올 수 있는지를 확인했습니다. 특히 SageMaker와 생성형 AI를 활용한 데이터 품질 복원과 분석은 신뢰할 수 있는 정보를 제공하여, 더 나은 의사 결정을 가능하게 했습니다. 이러한 기술은 단순히 데이터 품질 문제를 해결하는 것을 넘어, 글로벌 문제 해결의 중요한 도구로 자리 잡고 있습니다.

이번 세션은 AI 기술이 농업 및 환경 문제 해결에 어떻게 구체적으로 기여할 수 있는지를 보여준 사례였습니다. 특히, SatSure의 접근법은 기술이 인간 중심의 문제를 해결하고, 지속 가능성을 증진하는 데 어떻게 활용될 수 있는지를 제시해 준것 같습니다.