[reinvent 2024] AWS Step Functions 워크플로우 스튜디오를 활용한 상태 머신 구축

들어가며

이번 칼럼에서는 시각적 워크플로 자동화 서비스인 step function 세션에 대해 다룹니다.

저희 데이터 팀에서도 파이프라인을 자동화할 때 해당 서비스를 활용하곤 하는데요 제가 놓친 기능이 있는지 더 활용할 인사이트를 얻을 수 있을지 기대가 되어 해당 세션을 신청하게 되었습니다.

사용사례

Step functions 는 AWS의 워크플로우 엔진으로서 데이터 처리, IT 및 보안 자동화, 머신 러닝, 마이크로서비스 오케스트레이션 등을 쉽게 관리할 수 있습니다. 직관적인 시각적 표현과 AWS 서비스의 통합 기능을 통해 사용자들이 복잡한 워크플로를 효율적으로 구성하고 이해할 수 있도록 돕습니다.

한 가지 예로 이미지 처리가 있습니다. 이미지를 입력받아 썸네일을 생성하고 메타데이터를 저장하는 과정입니다.

Amazon State Language를 통해 워크플로우를 프로그래밍 방식으로 생성할 수 있지만, 비즈니스팀과 소통할 때 이를 이해하기 어려울 수 있습니다.

이 문제를 해결하기 위해 워크플로우 스튜디오를 활용하면 시각적으로 구성 요소 및 단계를 비즈니스 측면에서 명확하게 이해할 수 있도록 도울 수 있습니다. 또한 ASL 문서로 추출할 수도 있습니다.

Step functions 활용 및 특징

Step Functions 내에서 220개의 AWS 서비스를 사용할 수 있으며 10,000 개 API 작업을 사용할 수 있습니다. 또한 분기 처리, 병렬 처리, 맵 상태 등의 다양한 기능을 제공하여 복잡한 워크플로우를 쉽게 구성할 수 있습니다.

실행을 시작할 때 초기 페이로드를 전달하고, 상태 머신의 실행 결과를 JSON파일로 확인할 수 있습니다. 각 실행의 진행 상황을 그래프 및 표 형태로 시각화하며, 디버깅 시 유용한 정보를 확인할 수도 있습니다.

Result selector로 선택한 결과만 json 형식과 유사한 형식으로 값을 가져올 수도 있습니다.

마지막으로 Step functions 의  기초부터 고급 사용 사례까지 다루는 핸즈온 워크숍을 통해 더욱 깊이 있는 학습이 가능하도록 링크를 제공해주었습니다.

결론

Step functions을 처음 접해보는 사용자에게는 해당 서비스를 활용하면 코드 뿐만 아니라 시각적으로도 워크플로우를 구성할 수 있고 AWS의 거의 모든 서비스들과 통합할 수 있다는 인사이트를 얻을 수 있는 세션이었습니다.

저는 Step functions 서비스의 유경험자이기 때문에  기능들을 간략하게 살펴보고 세부 기능들을 어떻게 활용할 수 있는지에 대해 짚어볼 수 있었고, 데모를 통해 세부기능들에 대한 의미를 다시 한 번 살펴볼 수 있는 기회가 되었습니다.

마지막으로 워크샵 링크도 제공받아서 해당 서비스에 관심이 있다면 더 심도 깊은 학습을 해 보실 수도 있을 거 같습니다.