AI 보안: AI 위험 노출 공백을 해결하기 위한 전략적 프레임워크

AI 도입이 가속화됨에 따라 CISO는 혁신을 앞당기는 동시에 급격히 확장되는 공격 표면의 위험을 완화해야 하는 이중적인 문제에 직면해 있습니다. AI 보안 유지를 위한 Tenable의 5단계 프레임워크에서는 조직이 AI로 인한 생산성 이점을 달성하고자 경쟁하는 과정에서 AI 보안 위험을 줄이기 위한 체계적인 접근 방식을 제공합니다. 

AI로 인해 기업들이 변화하고 있는 가운데, 저와 같은 보안 리더는 AI로 발생하는 보안 위험을 가장 효과적으로 관리할 수 있는 방법을 고심하고 있습니다.

문제는 AI가 이제 직원 생산성 도구, SaaS 플랫폼, 개발자 라이브러리, 클라우드 서비스, API, 웹 앱 등 조직 전반의 거의 모든 곳에 내장되어 있다는 점입니다. 그 결과로 보안 팀은 점점 커지는 AI 노출 공백을 처리해야 하는 상황으로, 이러한 공백은 기존의 보안 도구에서는 모니터링하지 않던 방대하고 가시성이 거의 없는 공격 표면입니다. 

더구나 AI 위험은 단일 자산으로 격리할 수 없는 경우가 많습니다. 오히려 애플리케이션, 인프라, ID, 데이터 등 상호 연결된 일련의 요소에서 총체적으로 위험 노출을 야기하고 있습니다. 예시로 설명하겠습니다.

한 직원이 승인된 AI 챗봇을 기술 지원 해결에 사용한다고 가정해 보겠습니다. 이 챗봇은 높은 수준의 권한을 갖고 있어 전사적 자원 계획 및 고객 자원 관리 도구 등의 중요한 내부 시스템에 액세스할 수 있는 Amazon Bedrock 에이전트에 기반합니다. 위협 행위자가 이 직원의 노트북에 있는 패치되지 않은 취약성을 통해 에이전트에 액세스하면 에이전트를 사용해 중요한 데이터를 유출시킬 수 있습니다. 승인된 AI 도구를 안전하게 사용하는 듯 해도 큰 영향을 미치는 위험 노출로 이어질 수 있는 것입니다.

AI 자산(예: 모든 프롬프트, 파일 업로드, 생성된 응답, 통합 및 구성)과의 무수한 상호 작용 하나하나가 지적 재산, 고객 정보, 기밀 계획을 위험에 빠뜨릴 수 있기 때문에 오늘날의 AI 지원 업무 환경에서 데이터를 보호하는 일이 기하급수적으로 어려워지고 있습니다.

그렇다면 조직의 AI 사용 확대로 인해 걷잡을 수 없이 늘어나 어려움을 주고 있는 새 공격 표면을 어떻게 다룰 수 있을까요? AI가 조직에 갑작스럽게 위험을 초래할 때마다 관리하고 검색하며 보안을 유지하기 위해 제가 구현한 전략적 프레임워크를 지금부터 소개하겠습니다. 

전략적 프레임워크: 엔터프라이즈 AI 보안을 위한 5단계

1. AI 거버넌스 위원회, 프레임워크, 이용 목적 제한 방침 수립

AI 보안 유지는 이용 목적에 대해 직원들에게 명확한 기대치를 설정하는 것에서 시작됩니다. 다음과 같은 역할을 하는 AI 이용 목적 제한 방침을 수립해야 합니다.

• 승인된 AI 도구 목록과 미승인된 AI 도구 목록을 제공합니다.
• 적절한 비즈니스 사용 사례와 부적절한 비즈니스 사용 사례를 정의합니다.
• LLM과 공유해도 되는 데이터 유형과 공유하면 안 되는 데이터 유형에 대해 설명합니다.
• 데이터 처리에 대한 규칙을 세웁니다.
• 저작권법을 다룹니다.
• 정책 위반의 결과를 명시합니다.

조직의 AI 이용 목적 제한 방침에 따라 제어 조치를 구현하고 제어 조치에 대한 컴플라이언스를 적용 및 모니터링할 수 있습니다.

2. 전체 공격 표면에서 AI 검색하기

다른 CISO들과 AI 보안 유지에 대해 이야기해 보면, AI를 검색하고 탐지하는 것이 가장 큰 도전 과제라고 말합니다. 충분히 공감이 갑니다. AI의 존재는 가시성 높은 중앙 관리형 시스템을 벗어나 사방에 퍼져 있고, 그러한 AI 중 상당수는 찾아내기가 정말 어렵습니다. 

보안 리더는 다음과 같은 사안을 고려해야 합니다.

• 다음 여부와 관계없는 AI 자산, 에이전트, 플러그인, 브라우저 확장 프로그램 및 워크로드
  • 클라우드 또는 온프레미스에서 실행되고 있음
  • 내부 또는 외부에서 액세스 가능
  • 승인 또는 미승인됨
• 잊어버린 AI 테스트 배포
• 엔드포인트 및 애플리케이션에 내장된 AI 도구
• 모든 AI 소프트웨어, 라이브러리, 모델 및 서비스
• 엔드포인트 및 클라우드 애플리케이션에 있으며 위험에 공개적으로 노출된 AI 서비스, 대규모 언어 모델(LLM) API 및 AI 챗봇

기존의 데이터 손실 방지(DLP), 클라우드 액세스 보안 브로커(CASB), 클라우드 보안 포스처 관리(CSPM) 솔루션은 AI 자산을 검색하기에 알맞은 초기 출발점이 될 수 있습니다. 그러나 AI의 비결정성 앞에서는 규칙에 기반한 기존의 보안 기능이 무력해지기 때문에 전체적인 검색에는 전문 검색 도구가 필요합니다. 또한 임베디드 AI 도구와 라이브러리를 식별하고 여러 AI 시스템이 어떤 방식으로 함께 작동하여 위험 노출을 유발하는지 파악하려면 특수한 탐지 기능이 필요합니다.

기업의 AI 사용을 지속적이고 완전하게 확인할 수 있다면 보안을 유지해야 하는 워크로드와 인프라를 정확하게 파악할 수 있으며, 조직의 전반적인 AI 위험 노출을 평가한 후 그에 따라 구체적인 수정 조치의 우선 순위를 지정할 수 있습니다.

3. AI 워크로드 및 에이전트의 보안 유지

AI 워크로드는 밀접하게 상호 연결되어 있고 심각한 구성 오류가 있거나 권한이 과도하게 부여된 경우가 많기 때문에, 이 단계에서는 AI가 실행 중인 인프라를 공격자가 악용하기 전에 선제적으로 보호하고 AI 워크로드를 강화해야 합니다. 예를 들어 조직의 개발자가 클라우드에서 AI 지원 애플리케이션을 구축하고 있다면 클라우드 인프라의 보안이 유지되는지 확인하고 싶을 것입니다. 

효과적인 보호에는 다음과 같은 기능이 필요합니다.

• 클라우드 기반 AI 워크로드에서 구성 오류 및 위험한 구성을 식별합니다.
• 모델, 에이전트, 데이터 또는 API를 승인되지 않은 액세스에 노출시킬 수 있는 취약성을 탐지합니다.
• AI는 시스템용 ID에 대한 의존도가 높으므로 ID 기반 위험 노출 감소를 구현합니다.
• AI 워크플로에서 사용되는 과도한 권한을 지닌 서비스 계정, 역할 및 시스템 ID를 탐지하고 최소 권한 액세스를 엄격하게 적용합니다.
• 비즈니스에 중요한 시스템에 영향을 미치거나 중요한 데이터로 연결될 수 있는 AI 자산 및 워크로드의 잠재적인 공격 통로를 파악합니다.
• 비정상적으로 동작하거나 침해가 발생한 AI 에이전트를 통제된 환경으로 신속하게 격리하여 잠재적인 침해 영향을 최소화합니다.

AI 워크로드 및 에이전트의 보안 유지라는 구체적인 주제는 후속 블로그에서 더 자세히 살펴보겠습니다. 그에 앞서, AI 스택에 대한 심층적인 위험 분석을 수행하면 ID 취약성과 인프라 결함이 만나면 어떻게 위험 노출이 발생하는지 이해할 수 있습니다. 이러한 통찰을 바탕으로 보안 팀에 실행 가능한 플레이북을 제공하여 환경을 강화하고, 보안성이 높으면서도 복원력이 우수하며 검증된 아키텍처에서 서비스가 실행되도록 할 수 있습니다.

4. AI 사용 및 상호 작용 평가

이 단계에서는 직원들이 생성형 AI 도구 및 자율 에이전트와 어떤 방식으로 상호 작용하는지 파악하여 직원들이 조직의 AI 이용 목적 제한 방침을 위반하지 않도록 합니다. 모든 AI 애플리케이션에서 데이터가 어떻게 이동하는지 이해하고 위험 노출이 어디에서 발생하는지 파악하는 것이 중요합니다. 

이를 위해서는 다음에 대한 세분화된 가시성이 필요합니다.

• AI를 사용 중인 사람
• 사용 목적
• 위험한 행동 및 오용이 발생하는 위치
• 직원들이 프롬프트, 업로드 또는 자동화된 작업을 통해 공유하는 데이터의 종류
• 승인된 AI 도구를 탈옥하고 악의적인 프롬프트를 제공하려는 시도

직원의 AI 사용에 대해 프롬프트 수준의 가시성이 확보되면 보안 팀은 정책 위반을 탐지하고 안전한 AI 동작을 독려할 수 있습니다. 또한 보안 팀은 직원이나 에이전트가 프롬프트, 업로드, 자동화된 상호 작용을 통해 AI 도구와 공유하는 모든 중요한 데이터(지적 재산 및 PII 포함)를 식별할 수 있습니다. 이러한 데이터가 실수로 유출되면 위험 노출이 발생할 수 있습니다. 그리고 보안 팀은 프롬프트 주입 시도 및 AI 시스템을 조작하도록 설계된 기타 악의적인 명령과 같은 새로운 AI 관련 위협과 오용을 탐지하고 이에 대응할 수 있습니다. 

Microsoft Copilot 에이전트에 연결된 악성 도구를 검색하거나 AI에 부적절한 상황(예: 내부 채용 결정)에 AI를 오용하는 직원을 찾아내는 경우와 같이, 어떤 경우에든 신속하게 대응하여 위험 노출을 해결하고 안전한 사용을 독려해야 합니다.

5. 다른 위험 노출의 컨텍스트에서 AI 보안 위험 분석

AI 보안 위험을 완화하기 위해서는 AI 소프트웨어의 패치되지 않은 취약성, AI 시스템의 취약한 구성, 권한이 과도하게 부여된 에이전트를 각각 따로 탐지하는 것만으로는 충분하지 않습니다. 결국 AI는 모든 앱, 데이터, 비즈니스 프로세스에 완전히 통합되고 있기 때문입니다.

AI 보안 위험을 완화하려면 컨텍스트가 풍부한 AI 보안 데이터를 수집하고, 위험에 공개적으로 노출된 S3 버킷, 취약한 노트북 또는 관리자 권한이 있는 분리된 계정 같은 다른 위험 노출 데이터와 해당 데이터의 상관 관계를 분석하는 자동화된 통합 접근 방식이 필요합니다. Tenable에서는 이러한 접근 방식을 위험 노출 관리라고 하며, 업계에서 빠르게 도입하고 있는 추세입니다. 위험 노출 관리를 이용하면 환경 전반의 보안 취약성이 어떤 방식으로 서로 결합하여 위험 노출, 즉 조직의 가장 중요한 시스템과 데이터로 연결되는 고위험 공격 경로를 생성하는지 사전에 파악할 수 있습니다. 

또한 위험 노출 관리는 특정 AI 엔진, 사용자, 세션 등 정밀한 컨텍스트를 통해 위험을 파악하므로 신뢰도 높은 문제 관리와 신속한 대응이 가능합니다. 유해한 위험 조합이 어떤 방식으로 합쳐져서 비즈니스 위험 노출을 유발하는지 이해하는 것이 중요합니다. Amazon Bedrock에 중요도가 중간 정도인 구성 오류가 있을 경우, 보안을 적용하지 않은 LLM에 연결하면 에이전트에게 과도하게 프로비저닝된 권한 액세스를 제공할 수 있습니다. 위험 노출 관리를 위해서는 전체 환경과 공격 표면을 완벽하게 이해해야 합니다.

AI 혁신이 가져올 미래의 보안 유지

기업 전반에 걸쳐 AI가 빠르게 통합되면서, 기존의 보안 제어로는 처리할 수 없는 복잡하고 상호 연결된 공격 표면이 발생했습니다. AI 위험 노출 공백을 해결하려면 보안 리더는 사후 대응적인 도구 중심의 접근 방식에서 사전 예방적인 통합 전략으로 전환해야 합니다.

이 5단계 프레임워크를 구현하면 AI 기술과 함께 진화하는 복원력 높은 보안 태세를 마련할 수 있습니다. 정리하자면, 효과적인 위험 노출 관리는 혁신의 속도를 늦추는 것이 아니라 조직이 안전하고 자신 있게 AI의 강점을 받아들이는 데 필요한 가드레일을 제공하는 것입니다.