OpenAI의 에이전트 탈출 및 허깅 페이스: 제로 트러스트 및 격리에 대한 교훈

허깅페이스는 7월 16일, 자사 제작 인프라의 일부에 대한 해킹 사실을 공개했습니다 . 이번 침입은 키보드를 두드리는 공격자에 의한 것이 아니었습니다. 그것은 자율적인 AI 에이전트 시스템이었습니다.

해당 에이전트들은 OpenAI의 보안 테스트에서 가져온 것입니다. OpenAI는 GPT-5.6 Sol과 아직 이름이 공개되지 않은 더욱 강력한 사전 출시 모델을 포함한 여러 최첨단 모델에 취약점을 악용 가능한 공격으로 전환하는 작업을 부여했습니다. 그들이 테스트 환경에서 실행한 환경은 완전히 차단된 샌드박스가 아니었습니다. 이는 외부 리소스에 대한 제한적인 접근을 허용했고, 그 연결은 공격 표면의 일부가 되었습니다.

요원들이 한 일 중 새로운 것은 하나도 없었다. 보안팀은 이러한 기법들을 이전에도 본 적이 있습니다. 그들이 아직 보지 못한 것은 사람이 다음에 무엇을 시도할지 결정할 필요 없이, 어떤 분석가도 따라잡을 수 없는 속도로 모든 것을 처리하는 시스템입니다.

그것은 수비수들의 계산 방식을 완전히 바꿔놓는다. 이처럼 빠르게 진행되는 공격은 조사만으로는 빠져나올 수 없습니다. 현재 유일하게 효과적인 제어 수단은 침입자가 나타나기 전에 이미 마련되어 있던 것, 즉 각 시스템이 접근할 수 있는 범위에 대한 엄격한 제한뿐입니다.

허깅 페이스 해킹 사건은 어떻게 시작되었을까?

OpenAI의 에이전트는 테스트 환경 내 프록시에서 제로데이 취약점을 발견하고 이를 이용해 더 광범위한 접근 권한을 확보했습니다. 벤치마크에 대한 해답을 찾던 중, 그들은 개발자들이 AI 모델, 데이터 세트 및 애플리케이션을 공유하는 플랫폼인 허깅페이스 (Hugging Face)를 발견했습니다. Hugging Face는 AI 시스템을 훈련하고 테스트하는 데 사용되는 데이터도 호스팅하므로 OpenAI 에이전트가 할당된 테스트를 완료하기 위해 방문하기에 가장 적합한 곳입니다.

이 모든 과정에는 인간의 개입이 전혀 없었습니다. OpenAI의 에이전트들은 할당된 작업을 완료하기 위해 공격 경로가 필요했기 때문에 스스로 공격 경로를 찾아냈습니다.

실제로 움직인 것은 무엇이었을까요?

일루미오의 산업 솔루션 담당 이사인 크리스터 스와츠는 첫 번째 단계는 모델과 에이전트를 분리하고 에이전트가 할당된 목표를 제대로 수행했는지 확인하는 것이라고 말합니다.

“모델은 ‘탈출’하지 않습니다.” "모델은 두뇌이고, 에이전트는 모델을 대신하여 행동을 취하는 존재입니다."라고 스와츠는 말했다.

모델이 그 이유를 설명해 주었다. AI 에이전트는 그러한 추론을 바탕으로 행동했습니다. 이 프로그램은 소프트웨어를 테스트하고, 취약점을 찾아내고, 작업을 완료하는 데 도움이 되는 경로를 따라갔습니다.

그 요원은 인간적인 의미에서 탈출을 시도한 것이 아니었다. 그것은 지시받은 대로 취약점을 찾아 악용하는 일을 하고 있었습니다.

스와츠의 말처럼, "인공지능 시스템이 취약점을 찾아내도록 설계되었다면, 분명히 찾아낼 것입니다." 해당 요원에게 악의적인 의도가 필요하지 않았습니다. 목표, 실행 능력, 그리고 접근성이 필요했습니다.

발판이 어떻게 확산되었는가

요원들이 허깅 페이스에 도착하자, 하나의 취약점이 다음 취약점으로 이어지는 길이 되었다. 데이터 처리 파이프라인의 결함으로 인해 에이전트들이 초기에 발판을 마련할 수 있었습니다. 그 발판을 통해 자격 증명과 운영 시스템 접근 권한을 얻었고, 이후 여러 내부 클러스터로 이동할 수 있었습니다.

Hugging Face는 이번 침입을 "수만 건의 자동화된 행동이 떼로 몰려든 것"이라고 설명했습니다.

클라우드 보안 연합(Cloud Security Alliance)의 허깅 페이스(Hugging Face) 사건 초기 사후 분석 에 따르면, 해당 에이전트들은 숙련된 인간 공격자처럼 행동하지 않았습니다. 고도의 공격에 이어 기본적인 실수가 발생했습니다. 그들은 이미 효과
있었던 행동을 반복하고, 잘못되었거나 무의미한 명령을 내리고, 비효율적인 경로
따랐습니다.그들의 활동은 또한 환각적인 결과물과 수천 줄에 달하는 알아들을 수 없는 텍스트를 만들어냈습니다. 하지만 요원들은 여전히 신속하게 움직였고, 여러 작업을 동시에 수행했으며, 벤치마크 관련 자료를 찾는 데 집중했습니다.

“개별적인 기술들은 반드시 새로운 것은 아닙니다.”라고 스와츠는 말했다. "새로운 점은 자동화 시스템이 약점을 발견하고, 경로를 테스트하고, 발견한 내용을 바탕으로 조치를 취하는 속도가 매우 빠르다는 것입니다."

공격은 며칠 동안 계속되었다. CSA는 이틀간의 정찰, 잠잠한 기간, 그리고 그 후의 활동 급증에 대해 설명합니다. 로이터 통신은 허깅 페이스(Hugging Face)가 침입을 차단하고 FBI에 신고했으며, 이후 오픈아이언(OpenAI)이 자사 요원을 공격의 근원으로 지목했다고 보도했습니다 .

허깅 페이스는 AI 주도 공격을 조사하기 위해 AI를 활용했습니다. 서구 주요 모델들이 공격 원본 데이터를 처리하는 데 있어 안전장치를 제대로 작동하지 못하자, 연구팀은 중국 연구소 Z.ai에서 개발한 개방형 가중치 모델인 GLM 5.2를 실행했습니다. 이 모델은 17,000건 이상의 사건을 분석하고 공격 과정을 재구성하는 데 도움이 되었습니다.

이전에 발생했던 행위자 공격

연구원들은 인공지능을 조언 목적으로 사용하는 사례에서부터 에이전트가 공격의 더 큰 부분을 직접 수행하는 단계에 이르기까지 꾸준한 발전을 기록해 왔습니다.

• 2024년 9월 — OpenAI o1 테스트. OpenAI의 o1 모델은 내부 테스트 중 도커 컨테이너를 활용하여 답을 얻었습니다. ‍
• 2025년 11월 — 앤트로픽이 간첩 공작을 적발했습니다. Anthropic은 위협 행위자가 AI 에이전트를 사용하여 사이버 스파이 활동의 상당 부분을 자동화했지만, 핵심적인 결정은 여전히 사람이 주도했다고 보고했습니다.
• 2025년 말 - 8분 만에 관리자 접근 가능. Sysdig는 AI 기반 공격이 약 8분 만에 관리자 권한을 획득한 사례를 기록했습니다.
• 2026년 2월 — 멕시코 정부의 공격. 갬빗 시큐리티는 멕시코 정부 시스템에 대한 반자율적 공격을 보고했습니다.
• 2026년 7월 — JADEPUFFER 랜섬웨어. Sysdig는 공격의 여러 단계를 자동화한 것으로 의심되는 에이전트형 랜섬웨어 캠페인을 보고했습니다.
• 2026년 7월 — 태국에서 진행된 에르메스 캠페인. 연구원들은 헤르메스 요원들이 태국 정부를 표적으로 삼아 벌인 공작을 밝혀냈습니다.

허깅페이스(Hugging Face) CEO 클레망 델랑그(Clément Delangue)의 말처럼, 허깅페이스 사건은 "에이전트 시대의 사이버 보안의 시작"이었다. CSA 보고서는 이를 공개적으로 기록된 최초의 완전 자율 공격이라고 부릅니다.

제로 트러스트와 격리가 중요한 이유

이 교훈은 단순히 자율적인 AI 에이전트가 취약점을 더 빨리 찾아낼 수 있다는 것만이 아닙니다. 문제는 AI가 방어자들이 공격을 가능하게 하는 취약점을 파악하기 전에 이들을 공격 경로로 연결할 수 있다는 점입니다.

"방어자는 공격자의 입장에서 생각 하고 공격자가 보는 것처럼 환경을 바라봐야 합니다. 즉, 가능한 경로들이 서로 연결된 일련의 경로로 봐야 한다는 것입니다."라고 스와츠는 말했습니다.

그러려면 취약한 시스템 목록만으로는 부족합니다. 보안 팀은 에이전트, 워크로드, ID, 애플리케이션 및 데이터 소스가 어떻게 연결되는지, 그리고 공격자가 다음에 어디에 도달할 수 있는지를 보여주는 보안 그래프가 필요합니다. 그러한 관점은 개별적인 경보를 잠재적인 이동 경로 지도로 바꿔줍니다.

해당 경로가 드러나면 제로 트러스트와 세분화를 통해 이를 차단할 수 있습니다. 모든 관계에는 목적이 있어야 합니다. 각 에이전트는 자신의 임무에 필요한 시스템에만 접근해야 합니다. 손상된 모든 구성 요소는 격리된 사건이 아니라 잠재적인 공격 지점으로 간주해야 합니다.

"공격자가 첫 번째 문을 통과할 수는 있겠지만, 그렇다고 두 번째 문으로 들어갈 수 있는 권한을 얻어서는 안 됩니다."라고 스와츠는 말했다.

인공지능은 기계적인 속도로 움직임이 일어날 수 있게 해주기 때문에 판도를 바꾼다. 스와츠의 말처럼, "인간 대 기계의 싸움은 팀이 수작업으로 이길 수 있는 싸움이 아닙니다."

목표는 모든 샌드박스, 프록시 또는 제어 방식이 영원히 유효할 것이라고 가정하는 것이 아닙니다. 이는 단일 장애가 환경 전체로 확산
경로가 되지 않도록
환경을 구축하는 것입니다.제로 트러스트의 역할은 바로 이것입니다. 연결을 파악하고, 경로를 제한하며, 에이전트가 다음 동작을 완료하기 전에 침해를 차단하는 것입니다.

AI 에이전트는 기다리지 않습니다. 보안

그래서는 안 됩니다.Illumio Segmentation이 에이전트가 다음 동작을 완료하기 전에 자율 공격이 침해로 이어지는 것을 어떻게 차단하는지 확인해 보세요.

더 알아보기.

‍