[reinvent 2024] Gen AI를 위한 심층 방어 아키텍처로 비즈니스 강화
Summary
생성형 AI는 변혁적 혁신을 약속하며, SMB가 생성형AI 애플리케이션을 점점 더 많이 도입함에 따라 이러한 기술을 실용적이고 비용 효율적인 전략으로 보호하는 것이 중요합니다. 이 빌더 세션에서 심층 방어를 사용하여 보안 태세를 강화하는 방법을 알아보고 신뢰 경계를 넘나드는 계층적 방어가 있는 아키텍처를 확인하세요. 회복성을 높이면서 혁신하고, 안전한 AWS 인프라를 기반으로 구축하고, AI/ML 전용 보안을 통합하는 전략을 알아보세요. 가드레일, observability, 책임 있는 AI 관행과 같은 솔루션을 탐색하여 AI 기반 솔루션의 안전성과 무결성을 보장하고 생성형 AI를 활용하면서 위험을 완화하는 방법을 알아보시죠.
리인벤트 2024 테크 블로그의 더 많은 글이 보고 싶다면?
Overview
들어가며
다양한 생성형 AI를 활용하는 사례가 늘어나고 있지만 활용되는 데이터에 대한 관리는 여전히 화두입니다. LLM이 내 데이터를 사용하고 있는지, 또는 데이터를 유출하여 문제가 되진 않을지 고민하지 않으시나요? 이번 세션에서는 이러한 혁신과 신뢰 사이의 균형을 잡아 걱정을 해결해줄 수 있는 방법에 대해 알아보았습니다.
생성형 AI 보안 고려사항
설문조사에 따르면, 많은 기업들은 ‘최근 2년간 생성형AI의 빠른 발전이 있었지만 여전히 위험 요소들이 있다’고 판단합니다.
- 기업들은 생성형 AI의 Data Privacy, Data Security, Hallucinations, Toxicity에 대해 의문을 갖습니다. 그들의 데이터가 어떻게 보안을 유지하는지, 환각현상이나 유해한 답을 생성하지는 않는지 등 입니다.
- 아직 AI와 관련한 보증 및 검증에 대한 글로벌 기준이 없어 규정 준수가 어렵습니다.
- AI 리스크 관리 지침 및 규정이 매우 빠르게 등장하고 있지만, 이는 기존 워크로드를 위한 가이드라인과 다릅니다.
워크샵 소개
이번 세션은 워크샵 형태로 진행되었습니다. 워크샵을 통해 검증할 시나리오는 ‘생성형AI를 사용하는 사용자의 데이터가 정말 안전하게 보호되는가?’ 입니다.
해당 시나리오를 수행하기 위해 사용되는 기술 목록 및 아키텍처는 다음과 같습니다.
1) 인프라 보안
A. 접근제어
IAM을 적극적으로 활용하여 권한 관리합니다.
B. 모니터링
CloudTrail 및 CloudWatch를 활용하여 모니터링 강화합니다.
C. 모델 호출 횟수 제한
모델 호출이 많아질 수록 비용이 발생하는 특성 상 특정 사용자가 악의를 가지고 질문을 반복적으로 할 경우 문제가 발생할 수 있습니다.
이를 방지하기 위해 WAF를 사용하여 단시간 내 호출 횟수 제한하는 방법 사용합니다.
D. 비공개 네트워킹
모든 트래픽을 AWS backbone을 통하게 설정합니다.
2) Bedrock 보안
Bedrock Guardrail을 사용하여 유해 컨텐츠 차단, 프롬프트 인젝션 공격 차단, 개인별 예민정보 등 개인식별정보(PII) 유출 차단 등 다양한 보안장치 마련 합니다.
3) 인프라 아키텍처
사용자가 애플리케이션에 접속하여 질문을 하면 ALB(로드밸런서)를 통해 EC2 서버로 분산처리 됩니다. 이 과정에서 WAF를 통한 호출횟수 제한, 모니터링, 접근제어 가 활용되며 최종적으로 Bedrock에서 Guardrail등 안전장치를 거쳐 최종적인 답변을 생성합니다.
워크샵
1. 답변생성 시 RAG에 필요한 데이터를 소스로 지정하여Bedrock Knowledge Base 를 생성합니다. 전체 과정에서 사용되는 임베딩 모델은 동일해야하며 이번 과정에서는 Titan Text Embeddings v2를 사용합니다.
2. 사용량 및 기타 모니터링을 위해 기본적으로 비활성화 되어있는 베드락 모델 호출 로깅을 활성화합니다. CloudWatch Log Only를 선택합니다.
이제 직전 설정한 Log group 이름으로 베드락 모델 호출 로그 확인이 가능합니다.
3. WAF를 설정합니다. Rate-based rule로 설정하여 1분당 10회 한도로 설정합니다. 해당 rule을 적용한 경우 분당 한도를 넘어서면 아래와 같이 접속이 차단됩니다. 시간이 지나면 차단은 해제됩니다.
결론
이번 세션에서는 생성형AI 애플리케이션에서 다양한 보안위협에 맞서는 방법을 알아봤습니다. 생성형 AI 관련 PoC나 프로젝트 업무를 진행하는 경우 항상 가장 우선적으로 생각되는 중요한 부분이 보안 혹은 안전성에 관한 부분이었습니다. 가드레일을 통한 유해 컨텐츠 차단이 지원되지 않았을 때는 프롬프팅이나 기타 방법을 통해 특정 케이스인 경우 답변을 생성하지 않거나 프로세스를 중단하는 방법을 사용했어야 했습니다. 이 외에도 대고객 프로덕션 단계의 업무를 진행하는 경우 유해컨텐츠 차단에 더하여 시스템을 비정상적으로 이용하는 경우에 대한 대응도 필요했습니다. 이러한 경우 앞서 소개된 Bedrock Guardrail과 WAF를 활용한 트래픽 제어 등 방법을 활용하여 전통적인 보안 방법 및 생성형AI에 특화된 전략을 함께 적용한다면 혁신과 신뢰 사이의 균형을 잡아 인사이트 발굴에 큰 도움이 될 것으로 생각합니다.