에이전트 기반 AI 보안이란 무엇인가요?

에이전트형 AI 보안은 인간의 지시를 거의 받지 않고 스스로 다양한 프로세스를 수행할 수 있는 AI 에이전트를 보호합니다. 단순한 작업을 처리하는 AI 비서에서 여러 기능을 수행하는 완전 자율형 작업 로봇으로의 발전이 이제 시작되었습니다. 상담원은 전략적으로 계획을 세우고, 의사 결정을 내리고, 도구를 사용하고, 데이터에 접근하고, 조치를 취할 수 있으므로, 실제 권한을 가진 직원이나 시스템에 적용하는 것과 동일한 수준의 면밀한 검토가 필요합니다.

이는 에이전트의 신원, 메모리, 추론 능력, 도구, 통신 채널, 그리고 이 모든 것을 지원하는 인프라를 포함하여 에이전트의 모든 부분을 보호해야 한다는 것을 의미합니다. 클라우드 보안 연합(Cloud Security Alliance)의 AI 안전 이니셔티브는 최근 기업 CISO와 CIO의 92%가 AI 에이전트의 신원을 완전히 파악하지 못하고 있으며, 95%는 손상된 에이전트를 탐지하거나 차단할 수 있을지에 대해 의구심을 갖고 있다는 사실을 발견했습니다.

에이전트형 AI 보안은 모든 자율적인 행동이 승인된 목표에 부합하도록 유지하면서 오용을 방지함으로써 이러한 격차를 해소합니다.

AI 에이전트란 무엇인가요?

AI 에이전트는 작업을 완료하고 복잡한 목표를 달성하기 위해 설계된 목표 지향적인 시스템입니다. 이는 AI 모델의 추론 능력을 활용하고, 관련 데이터를 수집하며, 필요한 도구를 사용합니다. 오늘날의 에이전트는 놀라울 정도로 발전하여 작업 중에 컨텍스트를 기억하고 Agent2Agent(A2A)와 같은 프로토콜을 사용하여 다른 에이전트와 협업합니다.

일루미오의 산업 전략 담당 부사장인 라구 난다쿠마라는 AI 에이전트를 디지털 직원으로 보는 관점에 대해 “AI 시스템은 엄격한 규칙보다는 확률과 학습된 패턴을 기반으로 작동합니다.”라고 설명합니다. 동일한 요청이라도 상황, 학습 데이터 또는 모델 내부의 추론 경로에 따라 약간씩 다른 결과가 나올 수 있습니다.

에이전트는 질문에 대한 답변을 생성하여 AI를 대중화했던 AI 챗봇과 독립형 대규모 언어 모델을 뛰어넘는 중요한 이정표를 세웠습니다. 에이전트는 워크플로우를 처음부터 끝까지 실행하면서 더 나아갑니다. 그리고 자율성은 개인마다 매우 다양합니다. 일부 상담원은 고객을 지원하고 각 단계에서 승인을 기다립니다. 다른 이들은 거의 감독 없이 여러 단계를 거치는 계획을 수립하고 실행합니다.

에이전트형 AI 보안이 중요한 이유는 무엇일까요?

AI 에이전트가 제공하는 가치는 광범위한 기능과 영향력에서 비롯됩니다. 이들은 사람이 할 수 있는 것보다 훨씬 빠르게 민감한 데이터에 접근하고, API를 호출하고, 코드를 실행하고, 연결된 여러 시스템에 걸쳐 변경 사항을 적용할 수 있습니다. 하지만 그러한 영향력에는 위험이 따릅니다. 단 하나의 오류나 조작된 지시로 인해 누구도 알아차리기 전에 일련의 무단 행위가 발생할 수 있습니다.

Persistent memory adds another layer of complexity and AI security risk. If corrupted or misleading information enters an agent's memory, it can quietly shape future decisions to an organization's detriment. In multi-agent environments, misleading information can spread from one agent to another, further compounding the issue.

에이전트의 무단 행위는 널리 퍼진 문제입니다. 2026년 실시된 신원 보안 조사에 따르면, 민감한 데이터 노출과 무단 행위가 AI 에이전트 보안 투자에 가장 큰 영향을 미치는 두 가지 주요 문제로 나타났습니다. 에이전트형 AI 보안의 근본적인 목적은 민감한 데이터를 보호하고, 책임성을 유지하며, 운영 복원력을 강화하고, 책임감 있는 AI 도입을 지원함으로써 이러한 우려 사항들을 직접적으로 해결하는 것입니다.

에이전트형 AI 보안은 어떻게 작동하나요?

에이전트형 AI 보안의 첫 번째 방어선은 에이전트가 행동을 취하기 전에 구축됩니다. 목표, 지시사항 및 모든 입력 데이터를 검증하는 것이 필수적입니다. 이 단계에서 지시사항이 조작될 경우 전체 워크플로 체인이 중단될 수 있기 때문입니다.

그 후, 각 상담원은 직원들이 신분증을 받는 것과 마찬가지로 고유한 신원을 부여받습니다. 해당 권한은 최소 권한 원칙 을 따르므로 지정된 역할에 필요한 권한 이상을 갖지 않습니다. 이러한 권한은 에이전트가 상호 작용할 수 있는 도구, API, 데이터 소스, 워크로드 및 기타 에이전트를 기반으로 제한됩니다.

에이전트가 활성화되면 지속적인 모니터링이 시작됩니다. 이 시스템은 계획 수립, 메모리 사용량/변경 사항, 도구 호출, 커뮤니케이션 및 완료된 작업을 포함하여 상담원의 프로세스에서 모든 단계를 추적합니다. 이는 기존 AI 보안과의 핵심적인 차이점입니다.  대부분의 전통적인 접근 방식은 모델 출력을 모니터링하는 반면, 에이전트 기반 AI 보안은 자율 프로세스의 모든 단계를 모니터링해야 합니다.

보안팀이 비정상적인 행동을 감지하면 즉각적인 사고 대응 계획이 필요합니다. 보안팀은 에이전트를 일시 중지하거나, 연결된 시스템에서 연결을 끊거나, 에이전트의 후속 작업을 무시하거나, 완전히 종료할 수 있습니다. 이러한 제어 메커니즘들을 종합하면 자율 시스템은 필요에 따라 검증 및 제어가 가능해집니다.

에이전트형 AI의 가장 큰 보안 위험은 무엇일까요?

에이전트형 AI의 가장 큰 보안 위협은 자율성에서 비롯됩니다. 자율성은 속도와 규모의 잠재력을 가져오지만, 동시에 적이 이러한 능력을 악용할 수 있는 가능성도 제공합니다. 자율 에이전트의 가장 중요한 위험 요소는 다음과 같습니다.

목표 조작 및 신속 주입

요원들은 지시를 따르며, 그 지시의 출처를 신뢰하는 것은 공격 표면을 만들어냅니다. 문서, 이메일, 웹 페이지 등에 숨겨진 악성 프롬프트는 에이전트를 원래 목표에서 벗어나게 하거나, 다른 목표를 생성하거나, 에이전트의 행동이 통제 불능 상태가 되는 것을 방지하기 위한 안전 장치를 우회할 수 있습니다.

도구 오용 및 안전하지 않은 실행

에이전트가 도구에 대한 완전한 접근 권한을 갖게 되면, 그 도구를 사용하여 할 수 있는 일에는 제한이 없습니다. 해당 에이전트는 승인되지 않은 API 호출을 하거나, 안전하지 않은 코드를 실행하거나, 거래를 시작하거나, 구성 설정을 수정할 수 있습니다. 많은 잠재적인 행동들이 개별적으로는 무해해 보일 수 있지만, 잘못 수행될 경우 상당한 피해를 초래할 수 있습니다.

과도한 권한 부여 및 신원 노출

상담원은 일반적으로 자신이 지원하는 시스템과 사용자로부터 권한을 얻으며, 이러한 권한은 빠르게 누적될 수 있습니다. 과도한 권한을 가진 에이전트 또는 이를 탈취한 공격자는 작업에 필요한 범위를 훨씬 넘어서는 민감한 시스템과 데이터에 직접 접근할 수 있는 경로를 확보하게 됩니다.

기억과 소통의 중독

에이전트는 저장된 상황 정보를 사용하여 진행 방법에 대해 정보에 입각한 결정을 내립니다. 따라서 그렇게 분석된 정보는 보호되어야 합니다. 저장된 컨텍스트 또는 검색 데이터의 손상(메모리 오염), 에이전트 사칭, 또는 에이전트 간 메시지 변조(통신 오염)는 에이전트가 잘못된 가정에 기반하여 잘못된 결정을 내리도록 유도할 수 있습니다.

연쇄 오류 및 측면 이동

보안이 취약한 에이전트가 내린 단 하나의 잘못된 결정이 고립될 가능성은 낮습니다. 그러한 에이전트는 자신이 지원하는 다른 에이전트, 애플리케이션 또는 워크로드에 부정확한 지침을 전송할 수 있습니다. 수정하지 않고 방치하면 오류가 조직 전체로 확산될 수 있으며, 에이전트를 제어하는 공격자는 동일한 연결을 사용하여 측면 이동을 통해 단일 이벤트를 시스템적인 문제로 만들 수 있습니다.

이러한 위험은 환경을 격리하여 한 환경의 문제가 다른 환경으로 확산되지 않도록 하는 미세 세분화 의 중요성을 강조합니다. 이것이 바로 제로 트러스트 세그멘테이션(ZTS) 의 기본 원리이며, 침해 사고 발생 시 확산을 방지합니다.

에이전트 기반 AI 위협 모델은 무엇을 포함해야 할까요?

포괄적인 위협 모델은 문제가 발생하기 전에 에이전트의 활동 영역 구석구석을 파악합니다. 최소한 다음 영역들을 커버하십시오.

• 에이전트가 독립적으로 추구할 수 있는 목표
• 인간의 개입 없이 스스로 결정을 내릴 수 있습니다.
• 보유하고 있는 신원 자격 증명 및 권한
• 다른 에이전트 또는 시스템으로의 위임 경로
• 접근 가능한 도구, API 및 애플리케이션
• 접근 가능한 데이터 소스 및 인프라
• 메모리 저장소 및 검색 시스템에 의존합니다.
• 행동을 형성하는 커뮤니케이션 채널
• 실행 전에 사람의 승인이 필요한 작업
• 에이전트를 일시 중지, 격리 또는 종료하는 제어 기능

에이전트형 AI 보안의 핵심 구성 요소는 무엇인가요?

공격적인 인공지능 개발은 효율적인 자율 운영을 위한 기회를 창출하겠지만, 동시에 위험도 증가시킬 것입니다. 견고하고 안전한 시스템을 구축하는 데 있어 핵심적인 부분은 신뢰할 수 있는 자율 시스템에 필요한 기본 구성 요소를 파악하는 것입니다. 특히 최첨단 AI 모델이 스스로 행동할 수 있는 능력을 키워감에 따라 더욱 중요해집니다. 강력한 에이전트형 AI 보안은 몇 가지 기본적인 요소에 달려 있습니다. 다음은 그 예입니다.

에이전트 ID 및 액세스 관리

각 에이전트는 자신이 서비스를 제공하는 사람이나 시스템과는 독립적인 고유한 식별자를 필요로 합니다. 이러한 신원은 수명이 제한된 임시 자격 증명, 최소 필수 권한을 반영하는 권한, 그리고 에이전트가 다른 에이전트 또는 프로세스에 위임할 수 있는 사항에 대한 명확한 범위와 함께 사용되어야 합니다. 고유한 식별자가 없으면 공격자는 공유 계정 하나를 해킹하여 에이전트가 접근할 수 있는 모든 리소스에 접근할 수 있습니다.

도구 및 동작 제어

요원은 명시적으로 사용 승인을 받은 도구에만 접근할 수 있어야 합니다. 민감한 데이터 삭제나 자금 이체와 같은 가장 중요한 작업은 실행 전에 추가 승인이 필요하며, 사람이나 정책 엔진이 최종 결정을 내립니다.

또한, Mythos 와 같은 시스템은 고도화된 AI 시스템이 수동적인 분석 단계에서 자율적인 행동 단계로 얼마나 빠르게 전환할 수 있는지를 보여주는 사례입니다. 결과적으로 도구 수준의 제어는 더 이상 부차적인 고려 사항이 아니라 안전한 시스템을 설계하는 데 필수적인 측면이 되었습니다.

데이터 및 메모리 보호

특정 시점에 각 에이전트가 접근할 수 있는 데이터 양을 제한합니다. 메모리 저장소를 보호하려면 모든 업데이트가 기록되기 전에 유효성을 검사하고, 에이전트가 승인 없이 정보를 보유하거나 공유하지 못하도록 하는 정책을 시행하십시오.

모니터링 및 추적성

모든 상담원 결정, 도구 호출, 데이터 접근 요청 및 상담원 간의 통신은 로그를 생성해야 합니다. 이러한 로그는 정책 위반이 발생하거나 사람이 승인을 내린 경우까지 포함해야 하며, 팀에서 개입이 필요할 때 조사할 수 있도록 완전한 감사 추적 기록을 제공해야 합니다.

인간의 감독과 통제

승인 검사점은 중요한 결과가 발생할 수 있는 워크플로 단계에서 사람이 개입할 수 있도록 합니다. 장애 발생 시 신속한 대응이 가능하도록, 문제 발생 시 대응 절차, 시스템 종료 제어, 그리고 손상된 에이전트를 격리하는 방법을 수립하십시오.

일루미오의 수석 제품 마케팅 매니저인 어빈 말도나도는 "에이전트 AI를 기본적으로 신뢰해서는 안 된다"고 말합니다. 통제, 모니터링, 분할 및 지속적인 제약이 이루어져야 합니다. 바로 그러한 사고방식 덕분에 Illumio와 Netskope는 상호작용 계층 제어와 인프라 수준의 격리를 결합하여 에이전트 기반 AI 보안 도입을 지원합니다.

에이전트형 AI는 전체 수명 주기 동안 어떻게 보안이 유지됩니까?

에이전트 기반 AI 보안 구현은 체크리스트가 아닌 라이프사이클의 일부로 받아들여야 합니다. 아래는 이 라이프사이클의 핵심 구성 요소를 정의하는 간단한 워크플로 프로세스입니다.

1. 설계: 에이전트의 목적과 기능, 자율성 정도, 수행할 수 있는 행동, 신뢰 범위, 그리고 에이전트가 나타내는 위험을 결정합니다.
2. 빌드: 에이전트가 사용하는 모델, 도구, 코드, 데이터 소스, 프롬프트, 종속성 및 메모리 아키텍처를 검증합니다.
3. 테스트: 공격자 테스트를 실행하여 즉각적인 인젝션, 권한 상승, 승인되지 않은 도구 사용, 메모리 오염 및 에이전트가 수행하도록 의도되지 않은 작업 등을 테스트합니다.
4. 배포: 범위가 지정된 ID, 세분화, 능동 모니터링, 행동 기반 가이드라인 및 사용자 승인 요구 사항을 적용하여 에이전트를 실행합니다.
5. 운영: 에이전트의 동작, 권한, 통합 및 에이전트 운영과 관련된 모든 사고 또는 위험 변화를 모니터링하고 평가합니다.

에이전트형 AI 보안 강화 vs. 사이버 보안을 위한 에이전트형 AI 활용

이 두 개념은 비슷하게 들리지만 의미는 완전히 다릅니다. 에이전트형 AI를 보호한다는 것은 에이전트 자체뿐만 아니라 에이전트가 사용하는 워크플로, 데이터, 도구 및 인프라까지 안전하게 보호하는 것을 의미합니다. 이는 자율 시스템이 탈취되거나, 속거나, 잘못된 대상을 향하지 않도록 보호하는 방법에 대한 질문에 대한 답입니다.

Using agentic AI for cybersecurity flips the relationship, making agents part of your security stack to triage alerts, correlate threat signals, recommend remediation paths, or even execute parts of incident response on their own.

이러한 접근 방식은 실질적인 이점이 있지만, 새로운 유형의 위험에 노출될 가능성을 내포하고 있습니다. 보안 중심 에이전트는 유용하게 사용되기 위해 심층적인 가시성과 실질적인 권한이 필요한 경우가 많으며, 이는 잘못된 워크로드를 격리하거나 정상적인 시스템을 격리할 수도 있음을 의미합니다. 조직에서 보안 에이전트에게 더 많은 접근 권한을 부여할수록, 해당 에이전트는 그 자체로 공격 대상이 될 가능성이 높아집니다.

이것이 바로 서비스 중단이나 네트워크 접속 차단과 같은 중대한 조치는 담당자의 판단이 실제 사건을 통해 검증될 때까지 사람의 승인을 거쳐야 하는 이유입니다.

에이전트형 AI 보안 모범 사례는 무엇인가요?

강력한 에이전트 기반 AI 보안은 생태계 내 모든 에이전트에 균일하게 적용되는 일련의 잘 정돈된 루틴으로 구성됩니다.

• 각 에이전트와 그 역할을 식별하고, 소유권, 수행 작업, 사용 도구, 접근 데이터, 의존하는 다른 에이전트, 자율성 수준 등 다양한 요소를 고려합니다.
• 각 에이전트에게 가능한 가장 낮은 권한 수준에서 단기적인 접근 권한을 부여하는 고유한 식별자를 할당합니다.
• 시스템(또는 코드) 수정이 가능한 도구의 사용을 제한하고, 코드 실행을 분리하며, 위험도가 높고 되돌릴 수 없는 작업에 대해서는 승인을 받도록 하십시오.
• 에이전트가 동작을 수행하기 전에 입력, 메모리 업데이트, 검색된 데이터 및 에이전트 간 통신을 검증합니다.
• 에이전트의 동작을 지속적으로 모니터링하여 예상 패턴과의 차이를 감지합니다.
• 에이전트 관련 문제 발생 시 격리, 종료, 조사 및 복구 절차를 수립하여 문제가 발생할 경우 팀이 신속하게 대응할 수 있도록 하십시오.

에이전트는 끊임없이 진화하고, 통합 기능이 항상 추가되며, 새로운 위험 요소가 발생하므로 이를 지속적인 연구 분야로 간주해야 합니다.

제로 트러스트는 에이전트형 AI의 보안을 어떻게 강화합니까?

제로 트러스트 보안은 다음과 같은 기본 원칙에서 시작됩니다. 즉, 이미 알려진 AI 에이전트를 포함하여 그 어떤 것도 기본적으로 신뢰하지 않는다는 것입니다. 따라서 모든 개체는 신뢰할 수 없는 신원으로 간주되며, 일회성 온보딩 확인이 아닌 지속적인 검증이 필요합니다.

도구, 데이터, 작업 부하 및 애플리케이션에 대한 접근 권한은 작업 요구 사항에 따라 부여됩니다. 요원은 할당된 작업을 완료하는 데 필요한 리소스에만 접근할 수 있습니다. 최소 권한 원칙은 에이전트 간의 통신 범위뿐만 아니라 에이전트와 에이전트가 상호 작용하는 다른 시스템 간의 통신 범위도 제한합니다.

접근 권한을 엄격하게 제한하면 모니터링이 더욱 효과적입니다. 각 담당자의 예상되는 의사소통 방식이 명확하게 정의되면, 그 편차는 빠르게 눈에 띕니다.

문제가 발생하는 경우, 문제 해결은 신속하게 이루어집니다. 제로 트러스트를 사용하면 손상된 에이전트와 관련 워크로드를 격리하여 손상된 에이전트의 측면 이동 능력을 제한하고 악의적인 활동이 광범위한 피해를 일으키기 전에 잠재적인 영향을 줄일 수 있습니다.

Illumio는 에이전트형 AI 보안을 어떻게 지원할까요?

Illumio는 에이전트 기반 AI 환경을 지원하는 인프라, 워크로드 통신 및 액세스 경로를 보호합니다. 이 도구는 AI 에이전트, 애플리케이션, 데이터 저장소, 도구 및 클라우드 워크로드 간의 통신을 매핑하여 모든 것이 실제로 어떻게 연결되는지 파악할 수 있도록 해줍니다.

일루미오의 제로 트러스트 솔루션은 에이전트 인프라와 에이전트가 접근하는 중요 시스템을 중심으로 최소 권한 원칙을 적용하여 시스템 간 분리를 강화하는 동시에 AI 워크로드와 관련된 의심스러운 통신이나 횡적 이동을 지속적으로 감시합니다.

Illumio는 프롬프트 검증, 모델 테스트, 메모리 보안 및 에이전트 거버넌스를 대체하는 것이 아니라 함께 작동하며, 인프라 계층을 포함하는 동시에 다른 제어 기능을 통해 에이전트 자체를 보호합니다.

자주 묻는 질문

에이전트형 AI 보안이란 간단히 말해서 무엇일까요?

에이전트형 AI 보안은 인간의 개입이 제한적인 AI 에이전트를 보호합니다. 이는 에이전트의 신원, 메모리, 도구 및 통신을 포괄하며, 오용을 방지하는 동시에 모든 자율적인 행동이 사용자가 실제로 승인한 목표와 일치하도록 유지합니다.

에이전트 기반 AI 보안은 기존 AI 보안과 어떻게 다른가요?

기존 AI 보안은 모델, 학습 데이터, 프롬프트 및 출력을 보호합니다. 에이전트 기반 AI 보안은 한 단계 더 나아가 에이전트의 계획, 메모리, 도구 실행, 신원 및 워크플로를 보호합니다. 차이점은 행동 방식에 있습니다. 에이전트는 단순히 응답을 생성하는 것이 아니라 여러 단계를 거치는 작업을 수행하기 때문입니다.

AI 에이전트의 가장 큰 보안 위험은 무엇일까요?

주요 위험에는 에이전트의 목표를 변경하는 즉각적인 주입, 안전하지 않은 동작으로 이어지는 도구 오용, 에이전트의 범위를 확장하는 과도한 권한, 저장된 컨텍스트를 손상시키는 메모리 오염, 연결된 에이전트 및 시스템 전체에 걸쳐 확산되는 연쇄 오류 등이 포함됩니다.

AI 에이전트를 어떻게 보호하나요?

에이전트를 보호한다는 것은 에이전트에 고유한 식별자를 부여하고, 최소 권한 접근을 시행하고, 에이전트가 사용할 수 있는 도구와 데이터 소스를 제한하고, 입력과 메모리 업데이트를 검증하고, 에이전트의 동작을 지속적으로 모니터링하는 것을 의미합니다. 에이전트가 수행하는 모든 민감하거나 되돌릴 수 없는 조치는 사람의 승인을 거쳐야 합니다.

제로 트러스트는 에이전트형 AI에 어떻게 적용될까요?

제로 트러스트는 모든 에이전트를 지속적인 검증이 필요한 신뢰할 수 없는 비인간 개체로 간주합니다. 이 시스템은 필요할 때만 접근 권한을 부여하고, 에이전트와 연결된 시스템 간의 통신을 제한하며, 손상된 에이전트를 신속하게 격리하여 잠재적인 파급 효과를 최소화합니다.