AI 위험 관리란 무엇인가요?

AI 위험 관리란 조직이 AI 시스템 구축 및 사용과 관련된 위험을 식별하고 억제하기 위해 사용하는 체계적인 분야입니다. 이는 AI의 전체 수명주기를 포괄하며 보안뿐만 아니라 개인정보 보호, 운영, 법률, 윤리 및 평판 위험까지 포괄합니다.

AI 위험 관리의 기본 전제는 잠재적인 데이터 유출 및 모델 오류를 포함하여 AI 관련 문제에 대한 명확한 가시성과 실행 계획을 수립하는 것입니다. 인공지능 도입 경쟁은 수많은 문제점을 안고 있으며, 속도와 시장 출시 시기를 맞추기 위해 설명 가능성과 안전장치가 희생되는 경우가 많습니다.

최근 발표된 주목할 만한 보고서에 따르면, 조직의 88%가 지난 1년 동안 인공지능 에이전트 관련 보안 사고를 경험했거나 경험했을 가능성이 있는 것으로 나타났습니다. 조직은 인공지능 위협으로 인해 상당한 피해가 발생하기 전에 통일된 구조와 철저한 사전 대비책을 마련해야 합니다. 효과적인 AI 위험 관리는 보안 팀이 명시적 검증과 같은 제로 트러스트 원칙을 AI 시스템에 적용할 수 있는 기반을 제공합니다.

AI 위험 관리가 중요한 이유는 무엇일까요?

인공지능 보안이 미흡할 경우 발생하는 결과는 단 하나의 위험 요소에만 국한되는 경우가 드뭅니다. 문제가 발생할 경우, 단 하나의 시스템이 개인정보 유출, 운영 실패, 법적 책임, 윤리적 사각지대, 평판 손상 등 일련의 문제를 한꺼번에 야기할 수 있습니다. 데이터 품질 저하와 모델 드리프트는 AI 시스템이 예측 불가능하게 작동하고, 누구도 알아차리기 전에 비즈니스나 고객에게 피해를 주는 결과를 초래하는 일반적인 원인입니다.

이는 드문 일이 아닙니다. IBM은 AI 관련 침해 사고를 겪은 조직의 97%가 적절한 AI 보안 통제 시스템을 갖추고 있지 않다는 사실을 발견했습니다. 에이전트형 AI의 광범위한 도입은 상황을 더욱 심각하게 만들고 있습니다. 이러한 시스템은 사람의 승인을 기다리지 않고 방대한 데이터 소스에서 데이터를 가져오고 외부 도구에 연결하면서 자율적으로 작동합니다. 클라우드 보안 연합(Cloud Security Alliance)의 조사에 따르면, 지난 1년 동안 조직의 65%가 네트워크에서 작동하는 AI 에이전트로 인해 최소 한 건 이상의 사이버 보안 사고를 경험했습니다.

효과적인 위험 관리 전략은 인공지능의 안전한 도입을 보장하고, 조직의 규제 준수를 준비하며, 사업 연속성을 보호함으로써 이러한 문제를 해결합니다.  또한 이는 이해관계자들이 조직에 대해 갖는 신뢰를 유지하는 데에도 도움이 됩니다.

인공지능 위험의 주요 유형은 무엇인가요?

인공지능 관련 위험은 일반적으로 다섯 가지 범주로 나뉘며, 각 범주마다 무시할 경우 나타나는 경고 신호와 결과가 있습니다. 이러한 위험이 어디에서 발생하는지 이해하는 것이 위험이 만연하기 전에 예측하고 억제하는 첫 번째 단계입니다.

보안 위험

인공지능은 이전에는 존재하지 않았던 새로운 공격 경로를 열어줍니다. 기존 보안 솔루션은 프롬프트 주입, 데이터 오염, 적대적 공격과 같은 AI 관련 공격 유형을 고려하지 않았습니다. 이러한 사이버 공격은 모델의 동작과 출력을 조작하는 반면, 모델 도용, 안전하지 않은 API 및 인프라 위험은 공격자에게 모델과 그 주변 환경에 대한 접근 권한을 제공합니다. 소프트웨어 공급망 공격은 또 다른 차원의 취약점을 추가합니다. 공유 라이브러리의 취약점은 해당 라이브러리를 기반으로 구축된 모든 모델에 영향을 미칠 수 있습니다.

데이터 및 개인정보 위험

AI는 데이터를 기반으로 작동하므로 데이터 문제는 AI 문제가 됩니다. 민감한 데이터가 모델에 입력되면 모델이 해당 데이터를 유출할 수 있습니다. 훈련 데이터의 품질이 좋지 않으면 모델의 답변이 틀릴 것입니다. 허가 없이 데이터를 사용했다면 모델 성능이 아무리 좋아도 규정 위반입니다. 데이터 계보가 부실하면 문제가 더욱 악화됩니다. 데이터 출처를 추적할 수 없다면 문제를 완전히 해결하거나 규정 준수를 입증할 수 없습니다. 개인정보 문제는 데이터가 이미 노출된 후에야 드러나는 경우가 많습니다.

모델 및 성능 위험

잘 설계된 AI 모델이라도 여전히 신뢰할 수 없게 만드는 행동을 보일 수 있습니다. 환각 오류와 부정확한 출력은 사용자의 신뢰를 빠르게 떨어뜨립니다. 모델 드리프트는 시간이 지남에 따라 성능을 변화시키며, AI를 통한 설명 가능성이 없다면 이러한 성능 저하의 원인을 파악하기 어렵습니다.

윤리적, 법적 및 규정 준수 위험

AI가 내리는 결정은 중대한 법적, 윤리적 영향을 미칠 수 있습니다. 이 문제는 알고리즘 편향에 있으며, 이는 채용과 같은 중요한 영역에서 차별적인 결과를 초래할 수 있습니다. 스탠포드 대학의 인공지능 이력서 심사 도구 연구 에 따르면 특정 인종 집단과 연관된 이름을 가진 지원자들이 상당한 불이익을 받는 것으로 나타났습니다. 이러한 도구들은 해당 직무에 지원한 흑인 지원자의 26%와 아시아계 지원자의 15%에게 차별적인 결과를 초래했습니다. 이는 하나의 구체적인 사례에 불과하지만, 인공지능을 둘러싼 윤리적, 법적 위험은 지적 재산권 문제, 투명성 부족, 규제 위반 등 다양한 영역으로 확장됩니다. 이러한 위험 각각은 보안팀을 훨씬 넘어 재정적, 평판적 파급 효과를 가져올 수 있습니다.

운영 및 제3자 위험

대부분의 AI 모델은 공급업체, 통합 및 내부 감독에 의존하는데, 이 모든 요소는 고장 발생 가능성이 있습니다. 부실한 관리 감독 프로토콜과 과도한 에이전트 권한은 사소한 문제가 심각한 문제로 확대되는 원인이 될 수 있습니다. 서비스 중단 및 통합 오류는 운영에 직접적인 지장을 초래할 수 있습니다. 섀도우 AI는 문제를 더욱 악화시킨다. Grip 보고서 에 따르면 오늘날 기업에서 사용되는 AI 도구의 거의 91%가 보안 또는 IT 감독 없이 운영되고 있습니다. 결과적으로 승인되지 않은 도구와 특정 공급업체에 대한 의존성은 아무도 적극적으로 모니터링하지 않는 위험을 초래할 수 있습니다.

AI 위험 관리는 어떻게 작동하나요?

AI 위험 관리 프로세스는 5단계로 진행되며, 각 단계는 이전 단계를 기반으로 합니다. 포함되는 항목은 다음과 같습니다.

1. 식별: 모든 AI 모델, 애플리케이션, 에이전트, 데이터 세트, API, 공급업체 및 지원 인프라에 대한 포괄적인 목록을 작성하십시오. 첫 번째 단계는 자산이 어디에 있는지 파악하여 관리하는 것입니다.
2. 평가: 데이터 민감도, 시스템의 자율성, 사용자 및 위협에 대한 노출 정도, 비즈니스에 대한 중요도를 기준으로 각 위험의 발생 가능성과 잠재적 영향을 평가합니다.
3. 우선순위 지정: 위험의 심각도, 조직의 위험 허용 한도, 적용 가능한 규제 요건을 기준으로 위험의 순위를 매깁니다. 모든 위험이 동일한 것은 아니므로, 위험 완화 노력 또한 동일해서는 안 됩니다.
4. 완화: 식별되고 우선순위가 지정된 위험을 완화하기 위해 적절한 거버넌스, 보안, 개인정보 보호, 기술 및 감독 조치를 구현합니다.
5. 모니터링: 시스템 동작, 모델 성능, 보안 이벤트 및 위험 프로필 변화를 지속적으로 추적합니다. 인공지능 시스템은 빠르게 진화하고 있으며, 그에 대한 위협 또한 마찬가지입니다.

AI 위험 평가에는 무엇이 포함되나요?

AI 기반 위험 평가는 위험 관리 주기의 식별 및 평가 단계를 반복 가능하고 문서화된 프로세스로 전환합니다. 이러한 관행은 위험이 존재하는 위치와 위험의 심각도를 명확하게 파악하는 기록을 만들어냅니다. 이것들이 무엇을 의미하는지 자세히 살펴보겠습니다.

• 시스템 범위: 검토 대상인 AI 모델, 애플리케이션 또는 에이전트에 대한 개요입니다. 여기에는 목적, 데이터 수집 지점 및 자율성 수준이 포함됩니다.
• 위험 식별: 보안만을 고려하는 것이 아니라 보안, 개인정보 보호, 운영, 법률, 규제 준수, 윤리 및 평판 등 다양한 관점에서 AI 시스템을 살펴보아야 합니다.
• 발생 가능성 및 영향 분석: 식별된 각 위험에 대해 발생 가능성 등급과 영향 등급을 부여하여 발생 확률과 발생 시 예상되는 피해 규모를 보여줍니다.
• 통제 평가: AI 시스템에 대한 현재 통제 조치(접근 제어, 로깅, 인간 관찰)를 평가하고 통제상의 허점을 파악합니다.
• 문서 책임성: 조사 결과, 시정 책임자 및 완료 일정을 기록합니다.
• 프레임워크와의 연계: NIST의 AI 위험 관리 프레임워크 와 같은 기존 프레임워크와의 매핑.

AI 평가는 지속적으로 진행되므로 AI 모델이 발전하고 새로운 데이터가 확보되며 새로운 위협이 나타날 때마다 평가를 재검토하는 것이 중요합니다.

AI 위험 관리 vs. AI 거버넌스

AI 거버넌스는 조직의 AI 활용에 대한 방향을 제시하는 정책, 역할, 표준 및 감독의 전반적인 시스템입니다. 통치는 도로의 규칙을 정한다. AI 위험 관리는 이러한 프레임워크 내에 있으며, 각 AI 시스템의 특정 위험을 식별, 평가 및 완화하는 데 중점을 둡니다.

지배구조 분야는 "누가" 그리고 "무엇을" 다루는 분야입니다. 이는 책임성을 확보하고, 어떤 규칙이 적용되는지 명확히 합니다. 위험 관리 분야는 "방법"에 초점을 맞추어, 특정 위험이 발생할 때 해당 규칙을 적용하는 것입니다. 이 두 접근 방식은 지속적인 모니터링, 문서화, 계층화된 보안 제어 및 인적 감독이라는 공통된 기반을 공유합니다.

AI 위험 관리는 AI 수명주기 전반에 걸쳐 어떻게 적용될까요?

인공지능 시스템의 수명 주기에서 위험은 역동적으로 변화합니다. 초기 설계 결정부터 폐기되는 날까지 모든 단계에서 구축되고 변화합니다. 위험 관리 또한 단계적으로, 그 과정과 병행하여 진행되어야 합니다.

1. 계획 및 설계: 개발을 시작하기 전에 잠재적 사용 사례가 충분한 사업적 가치를 지니는지, 그리고 위험이 허용 가능한 수준인지 판단합니다.
2. 개발 및 테스트: 시스템에서 사용하는 데이터 품질과 관련된 문제를 파악합니다. 또한 시스템 개발 과정에서 모델의 보안성, 잠재적 편향, 견고성, 설명 가능성, 그리고 지원 서비스를 제공하는 다른 시스템과의 의존성도 평가해야 합니다.
3. 배포: 서비스 출시 전에 모든 구성 옵션, 사용자 액세스 수준, 통합 옵션, AI 가이드라인에 의해 설정된 제한 사항 및 필요한 승인을 검토하십시오.
4. 운영: 모델 동작, 출력 값, 사용자 접근 권한, 시스템에서 생성되는 작업 부하, 모델 성능 변화 또는 새롭게 나타나는 위협을 지속적으로 모니터링합니다.
5. 시스템 폐기: 모든 사용자 접근 권한을 제거하고, 필요한 문서를 보관하며, 수집된 데이터를 적절하게 파기하고, 시스템에 다시 접근할 수 없도록 조치합니다.

이 단계들은 순차적으로 진행되므로 각 단계는 다음 단계로 인계됩니다. 단계를 건너뛰면 이전 단계의 위험이 조용히 시스템을 따라 다음 단계로 이어질 수 있습니다.

조직이 알아야 할 AI 위험 관리 프레임워크는 무엇일까요?

AI 위험 관리를 위한 구조를 제공하는 여러 프레임워크와 표준이 있으며, 조직은 종종 하나 이상의 프레임워크와 표준을 활용합니다.

• NIST AI 위험 관리 프레임워크는 네 가지 기능을 중심으로 구축되었습니다. 여기에는 위험에 대한 책임감과 인식 문화를 조성하는 ' 관리', 특정 AI 시스템과 관련된 맥락 및 위험을 정의하는 ' 지도', 신뢰성에 대한 정의된 기준에 따라 식별된 위험을 평가하는 ' 측정 ', 그리고 정의된 각 위험에 대한 대응 및 처리 계획의 우선순위를 결정하는 ' 관리'가 포함됩니다.
• ISO/IEC 42001은 AI 관리 시스템의 개발, 구현 및 지속적인 개선을 위한 지침을 제시합니다. 정보 보안 분야의 ISO 27001과 마찬가지로, 이는 인증 가능한 표준이므로 조직은 해당 표준에 따라 독립적인 감사를 받을 수 있습니다.
• EU 인공지능법은 위험도를 네 가지 수준으로 분류하며, 각 수준마다 서로 다른 요구 사항을 제시합니다. 위험도가 허용할 수 없는 수준으로 분류되는 시스템은 금지됩니다. 고위험 시스템은 엄격한 규정 준수 요건을 충족해야 하며, 저위험 시스템은 운영에 대한 투명성이 요구됩니다. 위험도가 낮은 시스템은 규제 의무가 거의 없거나 전혀 없습니다.
• OWASP GenAI 보안 프로젝트는 프롬프트 주입 및 데이터 유출과 같은 생성형 AI 및 대규모 언어 모델 애플리케이션에 대한 주요 보안 위협 목록을 제공합니다.
• MITRE ATLAS 는 AI 시스템에 특화된 적대적 전술 및 기법에 대한 지식 기반입니다. 예를 들어, 이 기능을 활용하여 레드팀 시나리오를 만들거나 위협 모델링을 수행할 수 있습니다.

인공지능 위험 관리 분야의 프레임워크와 규정은 빠르게 변화하고 있습니다. 현재 요구되는 규정, 시행 일정 및 시행일은 변경될 수 있으므로 게시 전에 반드시 업데이트를 확인하십시오.

인공지능은 위험 관리에서 어떻게 활용되나요?

인공지능을 활용하여 위험 관리 노력을 지원하는 것은 일반적으로 조직 전반의 위험을 식별, 분석, 예측 또는 대응하기 위해 인공지능 시스템을 활용하는 것을 의미합니다. 이러한 지원은 위험 관리팀이 확인할 수 있는 범위와 대응 속도를 수동 검토만으로는 불가능한 수준으로 확장시켜 줍니다.

인공지능이 이 분야에서 두각을 나타내는 사용 사례는 대규모 데이터 세트를 분석하여 이상 징후, 패턴, 사기 신호 및 새로운 위협을 탐지하는 것입니다. 이는 인간 팀이 직접 탐지하기에는 훨씬 더 오랜 시간이 걸리는 작업입니다.  사기 방지 솔루션 업체 Sift의 CEO인 크리스 나겔은 포브스와의 인터뷰에서 포괄적인 머신러닝 도구를 사용하면 사기 탐지 정확도를 40%까지 향상시킬 수 있다고 밝혔습니다.

하지만 속도와 규모에는 몇 가지 절충점이 따릅니다. AI는 또한 편견, 오탐, 불투명한 의사 결정, 그리고 그 자체로 새로운 자동화 위험을 초래할 수 있습니다. 재정적, 법적 또는 안전상의 실질적인 이해관계가 얽힌 중대한 위험 결정은 여전히 조치를 취하기 전에 인간의 검증을 필요로 합니다.

제로 트러스트는 AI 위험 관리를 어떻게 지원합니까?

제로 트러스트는 단 하나의 원칙을 적용합니다. 시스템이 얼마나 오랫동안 운영되었든, 얼마나 잘 알려져 있든, 그 어떤 것에도 암묵적인 신뢰를 부여해서는 안 된다는 것입니다. 사용자, 워크로드, 서비스, AI 모델, 에이전트 및 연결은 진입 시점에 한 번만 인증되는 것이 아니라 지속적으로 인증됩니다. 이는 AI 시스템이 체크포인트 사이에서 자체적으로 작동할 때 가장 중요한 요소입니다.

최소 권한 접근은 이러한 원칙을 일상 업무에 적용하는 것입니다. 모델, 데이터셋, 도구, API 등에는 특정 작업을 완료하는 데 필요한 최소한의 접근 권한만 부여됩니다. 또한, 세분화와 같은 조치는 AI 워크로드를 민감한 데이터, 운영 애플리케이션 및 기타 중요 시스템과 분리함으로써 이러한 프로세스를 지속합니다. 따라서 한 부분이 손상되더라도 공격자는 나머지 환경에 침투할 수 있는 경로가 훨씬 줄어듭니다.

세분화의 중요성을 과소평가하기 쉽습니다. 실제로 Illumio의 연구에 따르면 거의 90%의 기업이 지난 1년 동안 네트워크 내에서 최소 한 번 이상 횡적 이동 과 관련된 사건을 경험한 것으로 나타났습니다. 또한, 이러한 사건이 발견된 후 진압하는 데 평균 7시간 이상이 걸렸습니다.

제로 트러스트 보안 접근 방식은 통신을 지속적으로 검사하여 예기치 않은 동작과 무단 액세스를 방지하고, 침해가 발생한 워크로드에만 국한되도록 횡적 이동을 제한합니다. 사고로 인한 피해는 손상된 AI 워크로드가 이동할 수 있는 위치를 제한하는 능력에 따라 크게 제한됩니다.

Illumio는 AI 위험 관리를 어떻게 지원할까요?

Illumio는 AI 위험 관리의 사이버 보안 및 운영 복원력 측면을 강화합니다. 하이브리드 및 멀티 클라우드 환경 전반에 걸쳐 AI 워크로드, 종속성 및 통신을 매핑함으로써, AI가 도입되면 기존 도구로는 파악할 수 없는 가시성을 팀에 제공합니다.

일루미오의 세분화 솔루션은 AI 시스템, 민감한 데이터 및 중요 애플리케이션 간에 최소 권한 액세스를 적용하여 단일 AI 워크로드가 허용된 범위 이상으로 자유롭게 접근할 수 없도록 합니다. 이 회사의 제로 트러스트 솔루션은 해당 통신을 지속적으로 모니터링하여 의심스러운 행동과 잠재적인 수평 이동을 사후가 아닌 발생 즉시 표시합니다.

문제가 발생할 경우, Illumio는 침해 확산을 방지하기 위한 플랫폼 으로서 손상된 워크로드를 효과적으로 격리하여 침해가 확산되는 것을 막습니다. 그 결과 폭발 반경이 줄어들고 사고 관리가 더 수월해집니다.

자주 묻는 질문

AI 위험 관리란 간단히 말해서 무엇인가요?

AI 위험 관리란 보안 취약점부터 편향된 출력물에 이르기까지 AI 시스템이 야기할 수 있는 문제를 발견하고 통제하는 지속적인 과정입니다. 이 기능은 추측이 아닌 확신을 가지고 AI를 사용할 수 있도록 만들어졌습니다.

인공지능의 주요 위험 요소는 무엇인가요?

AI는 데이터 품질, 모델 동작 또는 부실한 감독에서 비롯되는 경우가 많은 보안, 개인 정보 보호, 운영, 법률, 윤리 및 평판 위험을 초래합니다. 생성형 및 에이전트형 AI는 광범위한 데이터 접근, 외부 통합 및 자율적 행동을 통해 더욱 높은 수준의 경쟁력을 보여줍니다.

NIST AI 위험 관리 프레임워크란 무엇입니까?

NIST AI RMF는 조직이 시스템 수명 주기 전반에 걸쳐 AI 위험을 관리하는 데 도움이 되는 거버넌스, 매핑, 측정 및 관리라는 네 가지 기능을 중심으로 구축된 자발적 프레임워크입니다. 이는 오늘날 가장 널리 인용되는 AI 위험 평가 프레임워크 중 하나입니다.

인공지능의 위험성을 어떻게 관리하시나요?

AI 위험 관리란 지속적인 순환 과정을 따르는 것을 의미합니다. 즉, AI가 위험을 초래하는 지점을 파악하고, 가장 중요한 사항을 평가하고 우선순위를 정하며, 적절한 통제 조치를 적용하고, 시스템이 발전함에 따라 성능을 모니터링하는 것입니다. NIST AI RMF와 같은 프레임워크와 제로 트러스트 세분화와 같은 제어 방식은 이러한 순환 과정에 실질적인 구조를 제공합니다.

인공지능이 위험 관리 분야에서 인간을 대체할 수 있을까요?

아니요. AI는 어떤 팀보다도 빠르게 데이터를 처리하고 위험을 감지할 수 있지만, 감지된 위험에 대해 조치를 취할지 여부와 같은 중요한 결정에는 여전히 인간의 판단과 감독이 필요합니다.