CISO의 플레이북: AI 방어는 과대 광고가 아닌 컨텍스트에서 시작해야 하는 이유

CISO의 플레이북은 업계 최고 사이버 보안 경영진의 전략적 인사이트를 제공하는 지속적인 시리즈입니다. 이 글은 IBM의 사이버 보안 서비스 글로벌 매니징 파트너인 마크 휴즈가 작성했습니다.

IBM의 사이버 보안 서비스 부문 글로벌 매니징 파트너인 마크 휴즈는 사이버 보안에서 AI를 생각할 때 단순히 리스크 측면에서만 생각하지 않습니다. 그는 전장의 양쪽에서 근본적인 변화가 일어나고 있음을 목격합니다.

한편으로 공격자들은 더 빠르고, 더 정확하고, 더 교묘하게 행동하기 위해 AI를 무기화하고 있습니다. 반면에 방어자는 이제 더 심층적인 가시성, 더 빠른 의사 결정, 전례 없는 자동화를 약속하는 도구에 액세스할 수 있습니다.

하지만 이러한 도구는 수집하는 데이터부터 실행하는 모델, 의사 결정에 이르기까지 방어자가 AI 사용과 관련된 컨텍스트를 이해하는 경우에만 작동한다는 점이 문제입니다.  

마크에 따르면 오늘날 데이터, 모델, 워크플로우와 관련된 컨텍스트, 특히 AI를 얼마나 잘 보호하고 활용하느냐에 따라 공격자보다 앞서 나갈지, 아니면 빠르게 뒤처질지가 결정됩니다.

마크와 함께 실제 AI 방어와 과대 광고의 차이점, 그리고 네트워크에서 일어나는 상황의 맥락을 이해하는 것부터 시작해야 하는 이유에 대해 이야기를 나눠보았습니다.

더 빠르고 스마트한 공격의 원동력이 되는 AI

IBM 사이버 보안 서비스의 리더인 마크는 사이버 범죄자들이 이미 AI를 어떻게 활용하고 있는지를 가장 가까이에서 지켜보고 있습니다.

"우리는 AI가 기존의 위협을 더 빠르고, 더 정확하고, 더 해롭게 만드는 방식으로 사용되고 있는 것을 목격하고 있습니다."라고 그는 말합니다.

여기에는 더 나은 피싱, 더 스마트한 정찰, 프롬프트와 중독 모델을 조작하여 AI를 공격하는 초기 사례까지 포함됩니다.  

AI가 기존의 위협을 더 빠르고, 더 정확하고, 더 해롭게 만드는 방식으로 사용되는 것을 목격하고 있습니다.

하지만 무엇보다도 AI는 공격자에게 속도를 제공합니다. 마크는 몇 시간 또는 며칠이 걸리던 공격이 이제 몇 분 만에 완료되는 것을 목격하고 있다고 말합니다.

이 빠른 가속은 수비수들의 판도를 바꿉니다. 탐지, 차단, 대응은 더 이상 수동으로 할 수 없습니다. 그렇기 때문에 마크는 순차적 워크플로우가 아닌 동시 방어만이 앞으로 실행 가능한 유일한 모델이라고 생각합니다.

"AI를 사용하면 한 팀이 조사하고 다른 팀이 봉쇄할 때까지 기다릴 필요가 없습니다. 상담원들은 이러한 일을 동시에 수행하고 있습니다."라고 그는 말합니다. "이것이 바로 AI를 방어적으로 사용하는 힘이며, 속도를 변화시킵니다."

AI를 사용하는 데 그치지 말고 보안을 유지하세요

오늘날 대부분의 보안 논의가 AI에 대한 방어에 집중되어 있지만, 마크는 조직이 내부적으로 배포하는 AI도 보호해야 한다고 믿습니다. 네트워크 내부에서 사용되는 보안되지 않은 AI는 외부에서 발생하는 AI 생성 공격만큼이나 위험합니다.

그는 조직의 AI 도구 보안을 위한 세 가지 핵심 요소에 대해 설명합니다:

1. AI 모델에 들어가는 데이터 보호

마크에 따르면, 먼저 학습 및 입력 데이터를 확보하지 않고는 AI를 보호할 수 없습니다. 여기에는 데이터 액세스 제어를 시행하고, 개인 식별 정보(PII) 유출을 방지하며, 특히 AI 에이전트와 같은 비인간 신원이 확산됨에 따라 누가(또는 무엇을) 데이터를 사용하는지 파악하는 것이 포함됩니다.

2. 모델 자체 보안

"우리는 조직에서 테스트 없이 공개 모델을 다운로드하고 바로 사용하기 시작하는 것을 보았습니다."라고 Mark는 말합니다.  

위험합니다. 특히 외부 소스를 통해 제공되는 모델의 경우, 모델을 심사하고 테스트하며 모니터링해야 합니다.

3. 출력 및 동작 보안

마크는 즉각적인 인젝션 공격, 조작된 미세 조정, 의도와는 거리가 먼 출력에 대해 경고했습니다. "많은 사람들이 자신의 모델 결과가 정확하고 안전한지 확인조차 하지 않습니다."라고 그는 말합니다. "바로 이 지점에서 위험이 조직에 들어옵니다."

이러한 증가하는 위협에 대응하기 위해 마크는 대규모 언어 모델 애플리케이션을 위한 OWASP Top 10과 같은 프레임워크를 사용할 것을 권장하며, MITRE도 ATT&CK 프레임워크에 통합했습니다. 모델 중독부터 과도한 에이전시까지 모든 것을 다루는 기초적인 리소스입니다.

컨텍스트는 AI 제어 평면입니다.

무엇보다도 마크는 네트워크에서 일어나는 일의 맥락을 파악해야 한다고 강조합니다.  

이는 일반적인 가시성이 아니라 모델에 들어가는 데이터, 데이터의 출처, 액세스하는 사람, 모델 테스트 방법, 결과물이 실제로 어떤 용도로 사용되는지 파악하는 것입니다.

마크가 보기에 이러한 맥락이 안전한 AI 배포와 위험한 실험을 구분하는 기준입니다. 그래프 기반 보안의 강력한 기능을 활용하는 Illumio Insights와 같은 통합 가시성을 제공하는 플랫폼이 각광받는 이유도 바로 여기에 있습니다.

마크는 보안 그래프가 제어뿐만 아니라 시스템, 에이전트, 행동 간의 관계도 보여준다고 설명했습니다. "이를 통해 더 현명한 결정을 내릴 수 있는 맥락을 제공하거나 더 나아가 AI가 대신 결정을 내리도록 할 수 있습니다."라고 그는 말합니다.

AI + 에이전트 기반 보안은 미래입니다

마크가 생각하는 사이버 보안의 미래는 에이전트 중심 시스템에 있습니다. AI 기반 에이전트는 환경을 모니터링하고, 신호를 공유하고, 의사 결정을 내리고, 실시간으로 제어를 시행할 수 있습니다.

취약점이 발견되면 AI 에이전트가 즉시 정책과 규칙을 조정합니다. 다른 에이전트가 변경 사항을 확인하고, 영향을 받는 시스템을 포함하며, 규정 준수 로그를 업데이트하는 모든 작업을 사람의 개입 없이 수행할 수 있습니다.

"그 시나리오는 가상이 아닙니다."라고 마크는 말합니다. "이미 많은 조직에서 30~40개의 팀(% )이 대규모 보안 운영에서 벗어나 다른 우선순위에 집중할 수 있는 시간을 확보하는 것을 보고 있습니다. 이는 모두 디지털 노동력을 도입하여 탐지, 대응, 규정 준수까지 처리하는 데서 비롯된 것입니다."

AI 혁신을 시작하기에 가장 좋은 곳은 어디일까요? 보안 운영 센터(SOC). 마크는 이 부분을 AI 개선이 가장 빠른 성과를 가져다주는 스택의 한 부분으로 보고 있습니다.  

그는 보안 리더에게 이렇게 조언합니다: "뜯어고치고 교체하지 마세요. 팀의 속도를 높이고 정확도를 높이며 잡음을 줄일 수 있는 에이전트로 이미 보유하고 있는 기능을 보강할 수 있는 파트너나 플랫폼을 찾아보세요."

여기에서 팀은 침해 방지에 우선순위를 두어야 합니다. "AI가 모든 보안 침해를 막을 수는 없지만, 보안 침해가 확산되는 것을 확실히 막을 수는 있습니다."라고 그는 말합니다.

찢어서 교체하지 마세요. 팀의 속도를 높이고 정확도를 높이며 잡음을 차단할 수 있는 에이전트로 이미 보유하고 있는 기능을 보강할 수 있는 파트너 또는 플랫폼을 찾아보세요.

공격자들은 AI를 사용하기 위해 기다리지 않습니다. 여러분도 마찬가지입니다.

공격자들은 AI를 테스트하는 단계를 지나고 있습니다. 이미 사용하고 있고 잘 활용하고 있습니다.  

소셜 엔지니어링에서 측면 이동에 이르기까지 위협 환경은 점점 더 빠르고 스마트해지며 방어하기 어려워지고 있습니다.

그렇기 때문에 AI로 강화된 방어 전략을 구축하기 위해 더 이상 기다릴 수 없습니다.

"컨텍스트, 가시성, 동시성이 필요합니다."라고 Mark는 말합니다. "AI 에이전트는 이 모든 것을 가능케 하지만, 지금 배포해야만 가능합니다."

AI 보안은 컨텍스트에서 시작됩니다. 지금 바로 Illumio 인사이트를 무료로 체험하세요 를 사용하여 공격을 탐지하고 억제하는 실시간 그래프 기반 가시성을 확보할 수 있습니다.