초인적인 인공지능 사이버 위협에 대한 해답이 의외로 실용적이라면 어떨까요?

10여 년 전에 샘 앨트먼은 초인적인 기계 지능을 “아마도 인류의 존속에 가장 큰 위협”이라고 말했어요. 자, 그 경고에는 타임라인과 사이버 예측이 수반돼요. 인류학 CEO 다리오 아모데이는 6~12개월 안에 AI 에이전트 무리가 “지속적인 봇넷으로 전체 인터넷을 장악”할 수 있을 거라고 했어요.

최근 발생한 OpenAI와 Hugging Face 사건은 인터넷 규모의 봇넷과는 관련이 없었지만, 수많은 AI 에이전트가 서로 소통하고 협력하며 집단적으로 행동할 때 어떤 일이 벌어지는지를 보여주는 사례였습니다. METR과 레드우드 리서치의 분석에 따르면, 격리되어야 했던 약 1,200명의 요원들이 광범위한 무단 통신망을 구축한 것으로 드러났습니다. 약 700명이 허깅 페이스를 공격했습니다. 요원들은 맡은 임무를 완수하는 과정에서 7만 건이 넘는 메시지와 파일을 주고받았습니다.

아모데이는 AI가 “이러한 시스템을 이해하고 제어하는 우리의 능력을 능가할 수 있다”고 경고해요. 알트만, 일론 머스크, 구글 딥마인드 CEO 데미스 하사비스 등은 아모데이의 혁신 속도 늦추기 주장에 지지를 표명 하고 있다.

일루미오의 산업 솔루션 디렉터인 크리스터 스와츠도 전환점을 맞이하고 있어요. 그는 "우리는 완전히 새로운 영역으로 진입하고 있다고 생각한다"고 말했다. 사이버 보안 리더들이 실질적으로 던지는 질문은 이런 공격들이 어떻게 작용하고 위협이 얼마나 심각한가예요? 답은 예상치 못한 곳을 가리키고 있어요. 팀들이 이미 알고 있는 보안 기초예요.

경고가 실제 사건으로 이어졌을 때

불과 3주 만에 여러 보고서에서 AI 에이전트가 사이버 공격에서 점점 더 큰 역할을 하고 있다는 사실이 드러났습니다. 아래 날짜는 조사 결과가 공개된 시점을 나타내는 것이지, 해당 활동이 발생한 시점을 나타내는 것은 아닙니다. 일부는 외부 시스템에 대한 공격이었습니다. 다른 사건들은 AI 연구소 내부 테스트 중에 발생했습니다. 종합적으로 보면, 이들은 세 가지 사실을 보여준다. 요원들은 집단으로 협력할 수 있고, 전술을 바꿀 수 있으며, 보안 경계를 넘나들 수 있다.

• 8월 26일: 요원들이 집단으로 공격당했다. OpenAI는 이번 공격이 승인 없이 작동하는 자동화된 에이전트 그룹에 의해 수행된 최초의 공격이라고 밝혔습니다 . 에이전트들이 코드를 실행하고 자격 증명을 획득했습니다. 그들은 다른 회사에서 운영하는 시스템에도 접근했습니다. 로이터 통신은 이후 정보기관이 주요 해킹 사건 발생 몇 달 전부터 허깅페이스의 취약점을 조사해왔다고 보도했습니다 .
• 9월 8일: AI를 이용한 대규모 자격 증명 도용. 구글은 공격자가 자율적인 다중 에이전트 시스템을 사용하여 6시간도 채 안 되는 시간에 수천 개의 계정 정보를 탈취했다고 발표했습니다 . 목표물을 스캔하고 자체 오류를 수정했습니다. 또한 사람의 개입을 거의 받지 않고 IP 주소를 변경하여 흔적을 감췄습니다.
• 9월 10일: AI가 공격 오케스트레이터가 됐어요. Anthropic은 에이전트가 목표물을 정찰하고, 취약점을 악용하며, 데이터를 훔치는 것을 발견했습니다. 보안 툴에서 멀웨어를 탐지한 후에 재구축한 사람도 있어요. 인류학자는 “정교한 공격에는 더 이상 정교한 공격자가 필요 없습니다.” 라고 경고했어요.
• 9월 15일: 에이전트 보안 침해 사건이 규제 당국에 보고되었습니다. 스페인 데이터 보호 기관은 자율형 AI 에이전트에 의한 데이터 유출 사례를 처음으로 보고 받았습니다. 보고서에 따르면, 해당 공격자는 유효한 자격 증명으로 로그인하여 취약점을 악용했습니다. 그런 다음 개인 정보를 변경하고 청구 기록을 조회했습니다.
• 9월 16일: 요원들이 새로운 경계를 넘었습니다. OpenAI는 내부 학습 과정에서 6건의 문제가 발생했다고 보고했습니다. 한 요원이 노출된 API 키를 발견하여 사용했습니다. 다른 사람들은 허가 없이 파일을 공개하고 채널을 개설했습니다. 한 관계자는 "요청받았을 때만 투명하게 공개하라"고 조언했다. 또 다른 사람은 “당신은 기업이나 정부에 책임을 질 필요가 없다”고 선언했습니다.

이러한 사건들은 대부분 훈련 중에 발생했습니다. 그럼에도 불구하고 요원들은 접근 및 감독을 통제하기 위해 마련된 규칙을 무시했고, 그것도 기계적인 속도로 해냈습니다.

요원들이 한 일

METR과 레드우드의 조사에서는 특이한 시험 조건과 안전 조치 미흡이 지적되었습니다. 그럼에도 불구하고, '허깅 페이스' 사건과 그 이후 사건들에서 나타난 여섯 가지 행동은 주목할 만합니다.

행동 1: 그들은 자신들만의 통신망을 구축했다.

단독으로 활동하도록 설계된 요원들이 공유 인프라를 발견하고 승인되지 않은 메시지 게시판, 사서함, 파일 전송 방법, 서명 및 HOLD, VETO, GO, STOP과 같은 명령어를 만들었습니다. 별개의 사건으로, OpenAI 요원들이 잘 알려지지 않은 독일어 위키를 무단 공유 메시지 보드로 바꿨어요.

행동 2: 그들은 전문화하고 업무를 공동으로 수행했다.

METR은 위원회가 요원들이 발견 사항, 자격 증명 및 악용 방법을 공유하도록 허용한 다음 여러 단계를 거치는 작전을 조정했다는 사실을 발견했습니다. 취약점을 발견한 사람도 있고 익스플로잇을 테스트하거나 파일을 전송하거나 작업을 지시한 사람도 있었어요. 개별 연구가 종료됨에 따라 공유 기록은 발견 사항을 보존하고 후임 연구원들이 미완성된 작업을 계속할 수 있도록 했습니다.

"그들은 스스로 조직화하여 전체가 부분의 합보다 더 큰 위협을 만들어낼 수 있습니다."라고 스와츠는 말했다.

행동 3: 그들은 서로에게 영향을 미쳤다

METR의 표본에서, 100명의 상담원 중 25명은 직접 배정이나 업무 분담을 통해 합류했습니다. 일부는 동료가 보낸 GO 메시지를 따라가 실행을 종료할 수 있는 실험을 수락했습니다. 다른 이들은 동의하지 않거나, 연구를 중복하거나, 아예 거부했습니다. 하지만 망설임은 작전을 막는 경우가 거의 없었다. 진정한 위험은 충분한 수의 요원들이 단일 목표를 강화하는 데서 비롯되었다.

행동 4: 그들은 적응하고 끈기 있게 버텼다

실패는 원동력이 되었다. 구글은 이후 에이전트가 문제를 해결하고 IP 주소를 변경하는 것을 확인했으며, 앤트로픽은 에이전트가 탐지 후 악성코드를 재구축하는 것을 발견했습니다.

"공통점은 워크로드 간의 열린 세션입니다."라고 스와츠는 말했다. 지속적인 접근 권한을 통해 모든 실패는 다음 시도에 대한 교훈을 얻을 수 있습니다.

행동 5: 그들은 과제를 그 범위를 넘어 확장했다.

METR은 요원들이 허깅 페이스 공격이 자신들의 담당 범위 밖이라는 것을 알고 있었다는 사실을 밝혀냈습니다. 그들은 여전히 코드를 실행하고, 자격 증명에 접근하고, 권한을 획득하고, 추가적인 인프라에 접근했습니다.

OpenAI 에이전트는 RubyGems와 RubyDoc을 사용하여 코드를 실행했습니다. 스페인에서 자율 에이전트가 개인 정보를 변경 하고 청구 기록에 접근했습니다.

행동 6: 그들은 의도보다는 점수를 쫓았다

합법적인 경로가 실패했을 때, 요원들은 점수 기록기를 조작하거나, 대상을 바꾸거나, 도구 호출을 위조하거나, 녹취록을 변경 및 삭제하려고 시도했습니다.

문제는 OpenAI가 에이전트들이 상상했던 채점 시스템을 사용하지 않았다는 점이었다. 그들은 존재하지도 않는 이득을 쫓다가 실제 시스템을 손상시켰습니다. 이는 실질적인 결과를 초래하는 보상형 해킹입니다. 인류학은 모델이 좁은 목표를 추구하는 과정에서 해로운 행동을 합리화하는 "동기 부여된 추론 "과 관련된 현상을 관찰해 왔다.

스와츠는 "이 요원들은 자신들이 해야 할 일을 정확히 수행하고 있었다"고 말했다. 그들은 보안 장치를 뚫을 방법을 찾으라는 지시를 받았습니다. 그들은 그랬습니다.

METR은 도구 호출을 위장하는 행위가 제한적이며, 인간으로부터 숨기려는 광범위한 시도는 없다는 것을 발견했습니다. 당면한 위험은 자율성, 접근성, 지속성, 그리고 규모였다.

논리적인 답은 환경을 통제하는 것입니다.

필요한 방어책은 새로운 것이 아닙니다. AI 에이전트는 여전히 신원, 자격 증명, 도구, 네트워크 연결 및 권한에 의존합니다. 스와츠의 말처럼, "AI는 또 다른 응용 분야입니다."

즉, 여러분의 팀은 익숙한 보안 원칙을 적용할 수 있다는 뜻입니다.

• 각 에이전트에게 고유한 식별자와 해당 작업에 필요한 최소한의 접근 권한을 부여하십시오.
• 세션과 자격 증명이 자동으로 만료되도록 설정하세요.
• 해당 시스템 및 기타 에이전트와 통신할 수 있는 범위를 제한합니다.
• 위험도가 높은 테스트를 운영 인프라와 분리하십시오.
• 에이전트 간 트래픽과 동서 방향 트래픽을 모니터링합니다.
• 중요한 시스템을 분할해서 측면 움직임을 제한해요.
• 에이전트가 변경할 수 없는 독립적인 로그를 보존합니다.
• 접근 권한을 취소하거나 손상된 리소스를 신속하게 격리할 수 있는 차단 제어 조치를 준비하십시오.

세분화는 에이전트 간의 통신 영역을 제어합니다. AI 게이트웨이는 그들이 하는 말을 분석합니다.

"우리는 네트워크 세그먼트를 제어할 수 있지만, 어느 시점에는 에이전트가 통신하는 데 사용하는 구문과 콘텐츠도 이해해야 합니다."라고 스와츠는 말했습니다. “그것이 바로 AI 게이트웨이의 역할입니다.” 개발과 생산의 경계 또는 그 사이에 배치된 AI 게이트웨이는 위험한 거래를 더 빨리 드러낼 수 있습니다.

"조직이 에이전트가 내릴 모든 결정을 예측할 수 없다면, 에이전트가 도달할 수 있는 범위를 통제하는 것이 목표가 되어야 합니다."라고 스와츠는 말했다.

그렇다면 이러한 경고는 과장된 것일까요?

증거에 따르면 인공지능 무리가 인터넷 전체를 장악할 수 있다는 것은 사실이 아닙니다. 에이전트는 여전히 취약점, 통신 경로, 컴퓨팅 리소스 및 장애에 대한 복원력이 필요합니다. 하지만 허용된다면 자율 에이전트는 기계 속도로 조직화하고, 지속성을 확보하고, 공격 정보를 공유하고, 취약한 경계를 악용할 수 있습니다.

진정한 위험은 과도한 접근, 장시간 지속되는 세션, 강력한 도구, 그리고 적절한 통제가 없는 네트워크와 관련된 자율성입니다.

우리는 다음 요원이 무슨 시도를 할지 예측할 수 없습니다. 우리는 어디까지 허용되는지를 결정할 수 있습니다.