[reinvent 2025] Gen AI 게임 코치: 실시간 게임 플레이 피드백
Summary
이 세션에서는 짧은 게임 플레이 영상 클립을 분석하고 자연어로 실시간 코칭 피드백을 제공하는 경량 GenAI 기반 시스템 구축 방법을 소개합니다. Amazon Rekognition을 통한 시각적 분석, Amazon Transcribe를 통한 음성 분석, 그리고 Amazon Bedrock을 통한 피드백 생성을 조합하여 SDK나 엔진 모드 없이 원본 게임 플레이 영상을 구조화된 인사이트로 변환하는 방법을 학습할 수 있습니다.
리인벤트 2025 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
플레이어 정체기의 원인과 GenAI의 잠재력
게임 플레이어들이 실력 향상에 정체기(Plateau)를 겪는 주요 원인은 게임 플레이가 너무 빠르고 혼란스러워(chaotic) 자신의 실수를 정확히 파악하지 못하는 데 있습니다. 예를 들어, 플레이어의 인간 반응 시간은 보통 250밀리초이지만, 게임 내 순간적인 공격은 100~150밀리초 내에 발생하기 때문에 실수를 인지하기 어렵습니다. 플레이어들은 종종 자신의 실수를 잘못 진단하며, 이러한 노이즈가 많은(noisy) 원본 게임 플레이 영상은 플레이어 스스로 분석하기에 너무 빠릅니다.
여기서 GenAI는 큰 기회를 제공합니다. 수백만 명의 플레이어가 비싸거나 복잡한 도구 없이 실력을 향상시키고 싶어 하며, 개발 스튜디오 역시 확장 가능한 분석을 위해 거대한 GPU 클러스터에 투자하는 것을 꺼립니다. 해결책은 개인 AI 코치를 갖는 것입니다. 이 코치는 짧은 영상 클립만으로 타이밍, 움직임, 결정을 이해하고 분석하며, 모든 클립을 배움의 순간(teachable moment)으로 바꿀 수 있습니다.
여기서 GenAI는 큰 기회를 제공합니다. 수백만 명의 플레이어가 비싸거나 복잡한 도구 없이 실력을 향상시키고 싶어 하며, 개발 스튜디오 역시 확장 가능한 분석을 위해 거대한 GPU 클러스터에 투자하는 것을 꺼려합니다. 해결책은 개인 AI 코치를 갖는 것입니다. 이 코치는 짧은 영상 클립만으로 타이밍, 움직임, 결정을 이해하고 분석하며, 모든 클립을 배움의 순간(teachable moment)으로 바꿀 수 있습니다.
AWS 서비스 기반의 AI 코칭 시스템 아키텍처
이 GenAI 게임 코칭 시스템은 AWS 기반의 여러 서비스를 유기적으로 결합하여 구축되었으며, SDK나 게임 엔진 모드를 사용하지 않습니다.
1. 사용자 인터페이스 및 CDN 계층 (User Interface & CDN Layer):
◦ 사용자 인터페이스는 React 기반의 싱글 페이지 애플리케이션으로, 영상 업로드, 비디오 분석 보고서 확인, AI 코치와의 채팅 인터페이스 기능을 제공합니다.
◦ 이 UI는 Amazon CloudFront를 통해 전 세계 에지 로케이션에서 제공되어 낮은 지연 시간(low latency)으로 액세스를 보장합니다.
2. API 계층 (API Layer):
◦ API Gateway는 업로드 URL 가져오기(GET /get-upload-url), 분석 요청(POST /analyze), 채팅 시작(POST /chat)을 위한 REST API 엔드포인트를 제공합니다.
◦ 큰 사이즈의 비디오(예: 50MB 초과) 업로드 시 API Gateway의 타임아웃(29초) 제한에 걸릴 수 있으므로, Lambda Function URL 기능을 사용하여 분석 요청을 받고 S3 URI를 모델 분석을 위해 전달합니다.
◦ Analysis Lambda: 비디오 업로드를 위한 S3 사전 서명 URL을 생성하고 S3에서 비디오를 처리하는 데 사용됩니다.
◦ Chat Handler Lambda: 프론트엔드로부터 채팅 메시지를 수신하고, 내부적으로 Amazon Bedrock Agent (Agent Core)를 호출하여 인터랙티브 코칭을 수행하며, 그 결과를 프론트엔드로 스트리밍하여 응답합니다.
◦ Agent Action Lambda: Bedrock Agent Action Group 기능을 실행하고 코칭 응답을 위한 컨텍스트 인식 데이터를 제공합니다.
◦ 업로드된 비디오는 Amazon S3에 저장됩니다.
◦ Amazon Bedrock: 비디오 이해를 위해 Amazon Nova Pro 모델을 사용합니다. 또한, Agent Core 기능을 활용하여 메모리 관리 및 히스토리 보존이 가능한 프로덕션 수준의 인터랙티브 코칭 채팅 플랫폼을 구축합니다.
◦ 병렬 분석:
▪ Amazon Rekognition: 객체 감지, 장면 분석, UI 요소나 점수 같은 텍스트 감지에 사용됩니다.
▪ Amazon Transcribe: 영상에 포함된 음성을 텍스트로 변환하여 분석에 활용합니다.
▪ Amazon Comprehend: 클립 전체에 대한 감성 분석(sentiment analysis) 및 엔터티 감지(Entity detection)를 수행합니다.
프롬프트 엔지니어링 및 코칭 결과
세션에서 사용된 프롬프트는 코치의 역할을 “수년간의 경험을 가진 전문 게임 코치”로 정의하며, 플레이어의 비디오 분석 데이터에 접근하여 개인화된 코칭 조언을 제공합니다. 코치는 대화적(conversational)이고, 친근하며, 동기 부여가 되도록 설정되어, 플레이어가 실력을 향상시키도록 돕는 역할을 합니다.
• 플레이어 수행 능력: 조준과 엄폐물 사용 측면에서는 훌륭하지만, 상황 인식(situational awareness)과 적 교전 방식에서 개선의 여지가 있음을 친근하고 동기 부여가 되는 톤으로 전달합니다.
• 개선 영역: 실수를 복습하고 연습을 계속하며, 플레이어의 게임 플레이를 통해 상황 인식을 강화하고 전략을 조정하도록 조언합니다.
결론
이 GenAI 게임 코치 시스템은 멀티모달 데이터(영상, 음성, 텍스트)와 AWS의 AI/ML 서비스(Bedrock, Rekognition, Transcribe, Comprehend)를 결합하여 게이머들에게 개인화되고 실용적인 피드백을 제공함으로써 실력 향상이라는 난제를 해결할 수 있음을 보여주었습니다.향후 과제로는 지연 시간 개선이 가장 중요하며, 특히 AI 분석보다 병목 현상인 업로드 속도를 개선하는 기술을 모색하고, 비디오 압축 및 캐싱 기술을 탐구할 계획입니다. 또한, Twitch나 YouTube 같은 라이브 스트리밍 플랫폼에서도 실시간 코칭을 제공할 수 있도록 확장하는 것이 목표입니다. 이러한 시스템은 게이머들이 더 이상 혼자서 실수에 좌절하지 않고, 항상 옆에서 도와주는 개인 코치를 갖게 될 미래를 제시합니다.
