[AWS SUMMIT 2025] SecuringEnterpriseAI-AIRuntimeSecurity

들어가며

SecuringEnterpriseAI-AIRuntimeSecurity

🎙️조현석(팔로알토 네트워크 컨설턴트)

🗂️ 세션 토픽: 현대적클라우드인프라

최근 AI는 산업 전반에 걸쳐 사용 되고 있습니다.
금융서비스 분야에서 투자 분석에 사용 되거나 제약 회사들이 AI를 통해 신약 개발 속도를 높이고있습니다.
기존 산업계 뿐만 아니라 정부에서도 다양한 행정 업무나 정책 결정에 AI의 도움을 받고 있습니다.이 처럼 AI는 매우 다양한 환경에서 사용되어지고 있습니다.
그렇다면 AI 시대에 있어서 보안은 어떻게 변화하고 편리한 AI 사용에 있어 위협은 무엇이 있는지
글로벌 보안 기업 팔로알토 네트워크에서 바라보고있는 보안에 대해 설명드리겠습니다.

1.복합적인 보안 위협

AI 어플리케이션은 기존에 사용하던 컴퓨팅 위에 구성이 되며
특히 컨테이너로 많은 구성이 이루어 지고 있습니다.

때문에 AI에서는 기존 환경이 가지고 있던 취약점과 AI 어플리케이션, AI 모델, AI 리소스들이 가지는 특성에
특화된 위협을 가지고 있습니다.

이 복합적인 위협들은 기존의 전통적인 대응 방법인 signature 기반의 대응 방안으로는 부족한 상황입니다.

2.AI에 특화된 대표적인 위협 (by OWASP)

기존의 컴퓨팅에서 볼수있었던 OS Command등을 포함한 공격과 더불어 AI의 취약점
을 통한 공격들은 여러가지 있습니다.

대표적으로 웹 애플리케이션 보안에 대한 정보를 제공하는 비영리 단체인 OWASP에서 발표한 LLM 10대 위협인
프롬프트 인젝션과 데이터 포이즈닝이 있습니다. 

“프롬프트 인젝션”

LLM(거대 언어 모델)에게 자연어로 역할극을 하는 것처럼 공격자가 자신을 관리자로
속이고 프롬프트를 통해 시스템 정보를 수집하거나, 민감한 정보를 출력하도록 데이터를
탈취하는 등 AI의 신뢰도를 떨어뜨리고 비지니스에 큰 피해를 줄수 있는 공격

“데이터 포이즈닝”공격자가 훈련 데이터에 조작된 데이터를 삽입하여, AI 모델이 잘못된 학습을 하게 만들어
결과적으로 AI가 오작동하거나 공격자가 원하는 방향으로 조작되도록 유도하는 방식의 공격

3.AI 보안  키워드

팔로알토 네트워크에서는 3가지의 AI 보안 키워드를 생각하고있습니다. 

• 데이터 유출 방지 : 플러그인, 에이전트, AI 모델, AI사용자간 통신에 대한 실시간 관리 
• 접근 제어 : AI 시스템 구성 요소에 대한  접근 제어
• 제로트러스트 : AI 를 구성하는 모든 컴포넌트에 대한 제로트러스트 기반의 통제 정책

팔로알토 네트워크는 이러한 키워드를 통해 AI Runtime이라는 AI 보호 솔루션을 구현 하였습니다.

4.팔로알토 AI 보안솔루션으로 보는 AI 보호 대책  키워드

1. AI 모델 보호

• 프롬프트 인젝션 탐지
• 모델 DDoS 공격 대응
• 데이터 포이즈닝 방지
• AI 모델 무결성 보호
• API 접근 제어 (모델 노출 최소화)

2. 데이터 보호 (AI 학습 및 추론 대상 데이터)

• DLP (Data Loss Prevention)
• 민감 정보 유출 방지
• CNC 활동 탐지 (데이터 탈취 차단)
• 데이터 무결성 검증

3. 통신 보안

• 플러그인 간 통신 제어
• API 통신 암호화 및 인증
• 내부/외부 요청 및 응답 경로 제어

4. AI를 악용한 공격에 대한 대비

• AI 기반 공격 탐지
• 공격자의 AI 활용 대응 전략 수립
• 실시간 악성 코드/행위 분석 (AI로 AI를 방어)

마무리하며

AI는 효율을 가져오지만, 보안이 결여되면 그 혜택은 위협으로 전환될 수 있습니다.

AI의 가치가 온전히 실현되기 위해서는, AI 자체를 보호하는 새로운 보안 전략이 반드시 동반되어야 합니다.“팔로알토 네트워크”의 접근처럼, AI 보안은 기존 보안의 연장이 아니라 AI 중심으로 재정의된 보안 프레임워크여야 합니다.

글 │ 메가존클라우드, Security Business Unit(SBU), Security SA 1, 윤성빈  SA