[reinvent 2024] Amazon SageMaker를 사용하여 Planet Labs 위성 데이터에서 인사이트를 생성

들어가며

이번 세션은 위성 데이터를 활용한 지리 공간 분석과 Amazon SageMaker를 활용한 데이터 처리 및 분석 방법에 대해 심도 있게 살펴보는 시간이었습니다. Planet Labs는 지구 관측 위성을 통해 전 세계의 데이터를 실시간으로 수집하여 다양한 문제를 해결할 수 있는 인사이트를 제공합니다. 이번 세션은 특히 위성 데이터를 기반으로 효율적인 데이터 과학 워크플로우를 구축하고, 이를 통해 환경 변화, 재난 관리, 도시 개발 등의 분야에서 가치를 창출하는 방법에 초점을 맞췄습니다.

Planet Labs의 위성 데이터는 고해상도로 제공되며, 농업, 도시 계획, 환경 보호, 재난 대응 등 여러 산업 분야에서 활용되고 있습니다. 이러한 데이터는 Amazon SageMaker와 같은 클라우드 기반 도구를 통해 효율적으로 처리되고 분석되며, 분석 결과는 의사결정 과정을 지원하는 데 활용됩니다.

특히 이번 세션에서는 GeoJSON 포맷을 활용하여 관심 지역의 데이터를 선택적으로 수집하고, PlanetScope 위성에서 제공하는 데이터의 정제 및 분석 과정을 상세히 소개했습니다. 또한, Amazon SageMaker를 활용해 데이터 처리와 머신러닝 분석을 실행하며, 시계열 변화 탐지나 특정 객체 인식과 같은 고급 분석 기능이 어떻게 작동하는지 실습을 통해 배웠습니다.

이번 세션에서 다룬 주요 내용은 다음과 같습니다.

• 지리 공간 데이터의 개념과 활용법
• GeoJSON 포맷과 API를 통한 데이터 검색 및 수집 방법
• Amazon SageMaker와 JupyterLab을 활용한 데이터 분석과 머신러닝 워크플로우

이를 통해 데이터 과학과 위성 데이터 분석의 융합이 어떻게 실제 문제를 해결하는 데 기여할 수 있는지에 대한 인사이트를 얻을 수 있었습니다.

Planet Labs와 PlanetScope 위성 소개

Planet Labs는 위성 데이터를 활용한 혁신적인 솔루션을 제공하는 선도 기업으로, 특히 PlanetScope 위성군을 통해 지구 전체를 매일 스캔하여 최신 데이터를 제공합니다. 이 위성군은 200개 이상의 CubeSat으로 구성되어 있으며, 각각의 위성은 약 5kg 정도의 크기로 설계되어 제작 비용을 절감할 뿐만 아니라, 발사와 운영에서도 높은 효율성을 자랑합니다.

PlanetScope 위성은 극궤도를 따라 하루 동안 약 27,000km를 이동하며 지구의 모든 육지를 매일 스캔합니다. 이로 인해 기상 조건, 도시 확장, 농업 생산성 등 다양한 분야에서 활용 가능한 고해상도 이미지를 제공합니다. 특히, 위성 데이터는 기상 변화나 대기 조건으로 인한 품질 저하가 발생할 수 있으므로, 데이터의 정제 및 보정이 중요한 작업으로 인식할 필요가 있습니다.

Planet Labs는 API 기반의 데이터 검색 서비스를 제공하여 사용자가 관심 있는 지역의 최신 데이터를 선택적으로 수집할 수 있도록 지원합니다. 이는 분석 대상 지역이 방대하거나 특정 관심 지역의 변화만을 집중적으로 모니터링해야 할 때 매우 효과적입니다.

GeoJSON을 활용한 데이터 검색

GeoJSON은 위성 데이터를 검색하고 필터링하는 데 사용되는 포맷으로, 사용자가 관심 있는 지역의 지리 정보를 정의할 수 있는 간단하고 직관적인 도구입니다. GeoJSON은 점(Point), 선(Line), 다각형(Polygon) 등의 형식으로 특정 지역을 정의하며, 이를 기반으로 API를 통해 데이터를 검색할 수 있습니다.

이번 세션에서는 JupyterLab 노트북 환경에서 GeoJSON 포맷을 활용해 특정 지역의 데이터를 선택적으로 검색하는 실습을 진행했습니다. 예를 들어, 홍수 피해 지역을 분석하기 위해 특정 강 유역을 다각형 형태로 정의하고, 해당 지역의 최신 이미지를 API를 통해 호출하는 방식이 소개되었습니다.

GeoJSON 포맷은 데이터 과학자들이 관심 지역에 대해 효율적으로 데이터를 추출할 수 있도록 도와줍니다. 이는 대량의 위성 데이터 중에서도 분석에 필요한 데이터만 선택적으로 추출할 수 있게 하여, 데이터 처리와 분석 시간을 크게 줄이는 데 도움이 됩니다.

Amazon SageMaker를 활용한 데이터 처리

Amazon SageMaker는 위성 데이터를 분석하고 시각화하는 데 필수적인 클라우드 플랫폼으로, JupyterLab 노트북 환경에서 데이터 처리와 머신러닝 작업을 수행할 수 있습니다. SageMaker는 데이터 수집, 정제, 분석, 머신러닝 모델 훈련 및 배포까지 전체 워크플로우를 통합적으로 지원합니다.

이 세션에서는 위성 데이터가 SageMaker 환경으로 가져와지는 과정과, 이를 처리하고 분석하는 단계가 소개되었습니다. GeoJSON을 통해 수집한 데이터를 SageMaker로 가져와 정리 및 필터링한 후, 머신러닝 모델을 사용해 객체 인식(Object Detection)과 변화 탐지(Change Detection)를 수행했습니다.

예를 들어, 특정 지역의 홍수 전후 데이터를 비교 분석하여 변화하는 수위와 침수 지역을 시각화하는 사례가 소개되었습니다. SageMaker는 이러한 데이터 분석 및 예측 작업을 간단하고 효율적으로 수행할 수 있는 환경을 제공하며, 데이터 과학자의 작업 효율성을 크게 향상시킵니다.

위성 데이터의 다층 분석

Planet Labs의 위성 데이터는 단일 이미지를 넘어 다층적 분석을 통해 환경 변화를 이해하는 데 중요한 역할을 합니다. 예를 들어, 특정 지역의 토양 상태, 수자원 변화, 도시 확장 등을 시계열 데이터를 활용해 분석하는 방법도 소개되었습니다.

PlanetScope 위성을 통해 매일 수집되는 데이터는 특정 지역의 기후 및 지리적 변화 추이를 추적하는 데 유용합니다. 예를 들어, 가뭄으로 인해 강 유역이 축소되거나, 홍수로 인해 침수된 지역의 범위를 분석하여 환경 변화에 대한 예측과 대응 방안을 수립할 수 있습니다.

이러한 분석 결과는 환경 정책을 수립하거나 자원을 효율적으로 배분하는 데 활용되며, 위성 데이터가 환경 문제 해결에 실질적으로 기여할 수 있는 방안을 제시합니다.

위성 데이터 응용 사례

Planet Labs의 위성 데이터는 농업, 도시 개발, 재난 관리 등 다양한 분야에서 실질적인 문제 해결을 지원합니다. 농업 분야에서는 작물 성장 상태를 모니터링하고, 병해충 피해 지역을 신속히 파악하며, 재배 전략을 최적화할 수 있습니다.

재난관리 에서는 홍수, 산불, 태풍과 같은 자연재해 발생 시 피해 지역을 빠르게 분석하여 구호 활동과 자원 배분을 지원합니다. 도시 개발에서는 도시 확장 추세를 시각화하고, 지속 가능한 개발 전략을 설계하는 데 기여합니다.

세션에서는 이러한 사례를 바탕으로 위성 데이터가 AWS 클라우드와 결합되었을 때 더욱 효율적이고 정밀한 분석이 가능해지는 과정을 설명했습니다.

결론

이번 세션에서는 Planet Labs의 위성 데이터를 GeoJSON과 Amazon SageMaker를 활용하여 처리하고 분석하는 과정을 학습했습니다. GeoJSON을 사용한 관심 지역 필터링, SageMaker Studio Lab을 통한 데이터 분석 및 머신러닝 적용, 위성 데이터의 다층적 활용 사례 등이 소개되었습니다.

지리 공간 데이터와 위성 데이터를 활용한 데이터 과학의 활용 방법을 확인할 수 있었습니다. 특히 GeoJSON을 사용한 데이터 필터링과 SageMaker를 통한 분석 워크플로우는 데이터 과학자가 복잡한 문제를 효율적으로 해결할 수 있는 방법을 보여줍니다.

위성 데이터는 단순한 이미지 이상으로 다양한 문제 해결에 핵심적인 역할을 할 수 있음을 알 수 있었습니다. 특히, GeoJSON과 SageMaker를 활용한 데이터 처리 및 분석 과정은 위성 데이터의 실질적 활용 가능성을 극대화하는 데 도움을 주었습니다.