AIセキュリティとは何ですか？

AIセキュリティとは、人工知能を活用して組織のセキュリティ体制を強化する手法のことである。しかし、その実践は多面的であり、様々な形態をとる。

ある観点から見ると、AIを活用することで、脅威の検出と対応を機械の速度で自動化するなど、より広範なサイバーセキュリティ対策を強化できる。あるいは、この対策には、AIを武器としてより迅速かつ巧妙な攻撃を仕掛けてくるサイバー攻撃者から組織を守ることも含まれる。毒をもって毒を制す：AIはサイバーセキュリティにおいて攻撃と防御の両方の役割を果たす。

AIセキュリティは、自社のAIシステムやモデルを盗難や悪用から保護することとも言える。これらの脅威は行動を起こすよう促すものであり、CISO（最高情報セキュリティ責任者）やセキュリティ責任者たちは注目し始めている。BCGのレポートによると、過去1年間にAIを利用したサイバー攻撃を受けた組織は60%に上る可能性があるものの、防御にAIを活用している組織はわずか7%に過ぎないことが明らかになった。

AIがもたらすリスクに対する認識が高まっているにもかかわらず、適切なサイバー防御策の導入は、AIを駆使した攻撃の速度と高度化に追いつくのに苦労している。本稿では、AIセキュリティの微妙な点を検証し、AIを積極的な防御の味方として活用するためのベストプラクティスを探る。

AIセキュリティには何が含まれますか？

「AIセキュリティ」とは、多くの分野を網羅する広範な用語であり、それが重要な点です。これは、組織の安全を確保しつつ、 AIが脆弱性を侵害に転化することを防ぐという、統一された一連の目標に向かって連携する、相互に関連する複数の分野です。

サイバーセキュリティにAIを活用する

AIがセキュリティチームにもたらす最大の利点は、おそらくスピードだろう。機械学習（ML）モデルは、ネットワーク全体における異常な動作をアナリストに迅速に警告することができる。これらの機械学習モデルは、高度な脅威を示唆する可能性のある、ユーザーの行動における微妙な変化を検出することができ、人間のアナリストが見逃してしまうような兆候を捉えることができる。いったん特定されれば、AIはSOCチームが潜在的な脅威を深刻度と悪用可能性に基づいて優先順位付けするのに役立ち、誤検知を追いかけるのではなく、即座に対応が必要な脅威に集中することを可能にする。

さらに、AIは捜査プロセスを大幅に改善した。AIは、エンドポイントデバイスやログファイルなど、さまざまなソースからの信号を相関させることができる。潜在的な脅威が特定されると、AIセキュリティモデルは自動的にアクションを開始し、侵害の可能性のあるワークロードを隔離することで、攻撃者によるさらなる横方向への移動を防ぐことができます。

AIシステムのセキュリティ確保

AIシステムには独自の防御計画が必要です。つまり、モデル、トレーニングデータ、プロンプト、API、そしてそれらを基に構築されたアプリケーションやパイプラインを、改ざん、盗難、悪用から保護することを意味します。組織のトレーニングデータにアクセスした攻撃者は、その出力を操作したり、機密情報を盗み出したりする可能性がある。

2026年に世界中の1000人以上のサイバーセキュリティおよびIT専門家を対象に行われた調査によると、回答者の54%がAI関連のセキュリティインシデントを経験したと回答し、そのうち約4分の1（24%）は可視性の欠如により発生源を確認できなかった。AIが普及するにつれ、開発パイプラインとそれを支えるインフラストラクチャのセキュリティ確保は、もはや選択肢ではなく必須事項となっています。

AIを活用した攻撃への防御

攻撃者はAI技術を利用して、組織に対する攻撃の速度を加速させている。これらは偵察活動を加速させ、組織環境における脆弱な領域をより迅速に特定することができる。AIを活用することで、サイバー攻撃者はより信憑性の高いメールを作成したり、新たなマルウェアの亜種を生み出したりすることで、フィッシング攻撃の成功率を高めることができる。

多くのAIを活用した攻撃には、意思決定プロセスに何らかの形で人間の介入が含まれる可能性が高いものの、AIの利用は攻撃の実行速度を大幅に向上させる。実際、最近の研究では、AIが生成したスピアフィッシングメールのクリック率が54%に達しており、これは従来のフィッシングメールの平均クリック率12%をはるかに上回っていることが示されている。

AIセキュリティが重要な理由とは？

新たに導入するAIツールはすべて、あなたの環境への新たな侵入経路を開くことになり、その拡大は急速に進みます。AIシステムは、従来のセキュリティプラットフォームでは監視対象として設計されていなかった、非人間的なアイデンティティ、モデル化されたAPI、SaaS統合、および一時的なクラウドサービスを導入する。

さらに、人間という要素が加わることで、シャドウAIが生まれ、ネットワークに膨大な問題を引き起こすことになる。実際、最近の分析によると、従業員の70%以上が既に職場でAIツールを使用しており、多くの場合、正式な承認や監督なしに利用していることが明らかになった。

強固なAIセキュリティ対策を実施しなければ、組織は多くの分野で脆弱な立場に置かれることになる。

機密データの漏洩：会話中に使用されるプロンプト、やり取り中にアップロードされるファイルや画像、トレーニングデータセット内に保存されるデータは、適切な管理措置が講じられていない場合、権限のない第三者に不適切に開示される可能性があります。
モデルの整合性： AIモデルを改ざんすると、偏りを含む信頼性の低い結果が生じたり、結果に基づいて意思決定を行うユーザーを欺くために意図的に出力が操作されたりする可能性があります。
サービスの可用性： AIベースのアプリケーションの推論エンドポイントやインフラストラクチャに対する攻撃は、それらのアプリケーションをオフラインにする可能性があります。
規制遵守： EU人工知能法などの規制枠組みにおける重大な違反に対する罰金は、最大3,500万ユーロ（または全世界収益の7%）に達する可能性があります。
顧客からの信頼：顧客は必ずそれに気づきます。消費者の87％もの人が、セキュリティが適切に保護されていると確信できない企業とは取引したくないと答えている。

侵害されたAIアプリケーションは、通常、その範囲内に留まることはない。これはおそらくあなたのデータ、他のアプリケーション、そして基盤となるインフラストラクチャと相互作用するため、攻撃者が1つの経路から侵入に成功すると、その最初の侵入ポイントに接続されている他のあらゆるものへと攻撃を仕掛けることができる。

AIセキュリティはどのように機能するのか？

AIセキュリティは、連携して機能する5つの主要機能に基づいた継続的なサイクルとして機能し、その基盤となるフレームワークは、テクノロジーだけでなく、人材、プロセス、ガバナンスにも大きく依存している。

AI資産とその依存関係を把握する：見えないものは効果的に保護できない。最近の研究によると、企業が使用するAIツールの91%は、企業の管理外で運用されていることが判明した。次に、認可された（承認された）AIと非認可の（シャドウ）AIの両方を網羅的に把握することが第一歩となる。
脆弱性とビジネスリスクを評価する：米国国立標準技術研究所（NIST）は、有害なバイアスやモデルのドリフトなど、AIライフサイクルの各段階に関連するリスクをマッピング、測定、優先順位付けするためのAIリスク管理フレームワークなどのフレームワークを提供しています。
モデル、データ、アプリケーション、インフラストラクチャを保護する：暗号化、アクセス制御、セグメンテーションといった制御を、AIスタックのあらゆるレベルにわたって階層的に適用する。
AIの動作とシステムアクティビティを監視する：継続的な監視により、モデル出力の異常や不正アクセスをエスカレーション前に特定します。最近行われた世界的な調査によると、回答者の80％が、自社のAIエージェントが既に定義された範囲を超える行動を実行したと回答した。
セキュリティインシデントに対応し、封じ込める： マイクロセグメンテーションにより、事故発生時に影響を受けるシステムを迅速に隔離することが可能となり、横方向への移動を制限し、事故に伴う爆発半径を縮小することができる。

AIにおける最も一般的なセキュリティリスクは何ですか？

AIは、従来のセキュリティモデルにはほとんど存在しない、新たなリスクカテゴリーを雪崩のように生み出した。ここでは、注意すべき最も一般的なAIセキュリティリスクをいくつかご紹介します。

迅速な注入と安全性の低い出力

プロンプトインジェクションとは、攻撃者がAIシステムに提供される指示を回避するために、プロンプトに悪意のある指示を挿入する行為を指します。直接プロンプトインジェクションとは、それらの指示をAIシステムに直接入力することを意味します。間接的なプロンプト挿入には、AIシステムが処理するウェブページや電子メールの内容に、悪意のあるコード、テキスト、あるいは絵文字を埋め込むことが含まれます。直接的であろうと間接的であろうと、悪意のあるプロンプトは、処理後に危険な出力を生成したり、意図しない動作を引き起こしたりする可能性がある。

Illumio社のポール・ダント氏は、ChatGPTのガードレールをテストした際に、このことを自ら実証した。「私が発見したのは、プロンプトに教育的な要素を強く盛り込むと、相手はあなたの最終的な意図を見抜けず、実際にはランサムウェアスクリプトの作成を自動化するのに役立つ可能性が高いということです。」

データポイズニングとモデル操作

悪意のある攻撃者は、AIのトレーニングデータ、ファインチューニングデータ、または検索データを改ざんすることで、モデルの動作を徐々に変化させることができる。例えば、データセットが破損している場合、AIモデルが脅威を誤って分類したり、機密情報を漏洩したり、偏った結果を生成したりする可能性がある。従来のセキュリティ上の脅威とは異なり、被害は必ずしも目に見えるとは限らない。

機密データの漏洩

機密情報は、AIシステムから様々な箇所で漏洩する可能性がある。例えば、悪意のある攻撃者は、プロンプト、応答、ログファイル、埋め込みデータ、トレーニングデータセット、または他のアプリケーションへの接続を介して、機密情報を取得する可能性があります。

IllumioのEMEA地域担当システムエンジニアリングディレクターであるマイケル・アジェイ氏は、一般的なAIシステムがいかに脆弱であるかを説明した。「データは入力層に送られ、隠れ層へと移動し、そこでAIの『魔法』が起こります。」そして最終的に、消費者が操作できる出力層に到達するのです。」そのプロセスにおいて脆弱性が生じる可能性のある箇所について尋ねられたアジェイ氏は、ためらうことなく答えた。「ほぼすべての段階で。」

モデルの盗用とモデルの反転

AIモデルは多額の投資を必要とするため、魅力的な標的となる。攻撃者は、独自のモデルアーキテクチャや重みを完全に盗み出すことも、モデルの逆解析を利用してトレーニング中に使用された機密データを推測することもできます。

AIサプライチェーンのリスク

組織が依存しているサードパーティ製のモデル、データセット、ライブラリ、プラグイン、またはAPIはすべて、潜在的な攻撃経路となり得る。オープンソースの依存関係が侵害される可能性があり、事前学習済みモデルも改ざんされる可能性があり、その結果、展開前に環境に脆弱性が持ち込まれる可能性があります。

過剰な主体性と不安定な統合

機密データを収集したり、外部ツールを呼び出したり、自律的に動作を実行したりできるAIエージェントには、厳格な安全対策が必要となる。過度に寛容な行動は、侵害された単一のエージェントを、そのエージェントがアクセス可能なシステムへのさらなる悪用のための足がかりに変えてしまう。

シャドウAIと設定ミス

許可されていないAIツールや未知のモデルは、防御できない盲点を生み出す。脆弱なクラウド構成と露出したエンドポイントは、さらなる盲点を生み出す。

アジェイ氏が述べたように、「多くのCISOやセキュリティリーダーの最初の反応は、『AIは悪者によって使われているのだから、善人もより多くのAIを必要とする』というものだった」。しかし、それは必ずしも真実ではない。

インフラの妥協と横方向への動き

攻撃者がAIワークロードの制御権を掌握した場合、次に何が起こるかが懸念される。最初の侵害が発生すると、関連するすべてのデータストア、認証情報、アプリケーション、およびその他のワークロードが利用可能になり、単一の侵害が環境全体に急速に広がる可能性があります。

このリスクを未然に防ぐためのダントのアドバイスは、実にシンプルだ。「第一の原則は、基本に立ち返ることだ。」最終的には、適切なサイバー衛生、横方向の移動防止、そしてゼロトラストの原則は、今後ますます重要性を増していくでしょう。

モデルドリフトと可用性攻撃

現実世界のデータは時間の経過とともに変化し、訓練データから乖離していくため、出力の信頼性が低下し、セキュリティに関する判断が不適切になる。悪意のある攻撃者は、AIインフラストラクチャに対する標的型リソース枯渇攻撃やサービス拒否攻撃を通じて、システムの劣化を加速させ、最も必要とされるまさにその瞬間に可用性に直接的な影響を与える可能性があります。

サイバーセキュリティにおいて、AIはどのように活用されているのか？

セキュリティチームは、AIをSOC（セキュリティオペレーションセンター）のもう一つの構成要素として捉え、人間のアナリスト一人では到底及ばない速度で膨大な量のデータを処理できるようにしている。AIが具体的なユースケースにおいてどのように効果を発揮するのか、以下に説明します。

‍

脅威および異常検知： AIは、人間が気づく前に、ネットワークの動作の変化を特定し、多くの場合、侵害の兆候を捉えます。
行動分析：機械学習はユーザーと機械の行動の基準値を確立し、AIがその基準値からの逸脱を検出できるようにします。
アラートの相関と優先順位付け： AIは、異なるツールセット間で類似した信号を相関させ、相関した信号間の相対的な深刻度を決定します。これにより、警戒疲れが軽減される。
脅威ハンティング： AIは、（人間の目には見えない可能性のある）潜在的なパターンや関係性を提示し、アナリストがこれまで調査していなかった脅威を追及するための方向性を示します。
フィッシングおよび不正行為の検出： AIモデルは、自然言語処理、送信者の行動特性、およびメタデータを使用して、他のフィルタリングメカニズムを回避したフィッシングおよび不正なメール/取引を検出します。
脆弱性の優先順位付け： AIは、理論上の深刻度ではなく、実際の脆弱性悪用履歴に基づいて脆弱性を深刻度順にランク付けします。
セキュリティ調査の概要： AIが複雑なログやアラートを要約し、アナリストが対応できる概要を作成します。
自動化されたインシデント対応： AIは脅威を認識した時点で、侵害されたワークロードを隔離するか、アクセス権を取り消します。

AIセキュリティにおけるベストプラクティスとは？

AIセキュリティとは、確立されたセキュリティのベストプラクティスを、この新しいタイプのIT資産（モデル、アプリケーション、エージェント、API、データセット、ワークロードなど）に適用することです。新しいセキュリティポリシーを作成するのではなく、既存のポリシーを拡張してください。

包括的なインベントリを作成する：すべてのAIモデル、アプリ、エージェント、API、データセット、ワークロードを文書化する。記録を残さなければ、安全を確保することはできません。
AI資産を分類する： AI資産の価値、露出度、組織への潜在的な影響に基づいて優先順位を付けることで、どの資産を優先的に保護すべきかを特定できます。
最小権限アクセスを使用する：タスクを実行するためにアクセスが必要な人または機械のみにアクセスを制限する。それには、AIや機械学習によってもたらされる非人間的なアイデンティティも含まれる。
AIワークロードをセグメント化する： AIシステムを機密データや重要インフラから隔離することで、侵害されたモデルが他の領域へのバックドアとなることを防ぎます。
すべてのデータを暗号化する： AIパイプライン全体を通して、データが転送中および保存中の両方でデータを暗号化します。
AI/MLシステムに機密情報を含めないでください。AIプロンプト、ソースコード、ログに、認証情報、APIキー、規制対象データを含めないでください。これらの情報が漏洩した場合、貴組織の評判が損なわれる可能性があります。
サプライチェーンを検証する：トレーニングデータ、モデルソース、ライブラリ、およびサードパーティの依存関係を環境に導入する前に、それらの整合性を確認してください。
生成型AIツールにガードレールを実装する：入力制御、出力制御、およびツール使用制御を展開し、潜在的な危害が発生する前に不正操作を検出する。
継続的な監視：デプロイ時だけでなく、リアルタイムでモデルの動作、APIアクティビティ、ワークロード通信、構成変更を綿密に監視してください。
対応計画の策定：モデルの侵害、データの漏洩、またはインフラストラクチャへの影響が発生した場合にどのように対応するかを概説する計画を策定します。
レッドチームテストを実施してAIモデルを検証しましょう。展開前に一度だけでなく、定期的に敵対的テストと脅威モデリングをAIモデルに対して実施してください。
人間の監視を必須とする：生産システムに重大な結果や修復不可能な影響を与える自動化されたアクションを許可する前に、人間の承認を必須とする。
確立されたフレームワークに従う： NIST AIリスク管理フレームワークやOWASPのLLM 、 Agentic AI Top 10リストなどの確立されたフレームワークにプログラムをマッピングします。適用される規制要件について常に最新の情報を入手してください。

ゼロトラストはどのようにしてAIのセキュリティを強化するのか？

ゼロトラストは、従来のシステムに内在する暗黙の信頼を、すべてのAIユーザー、サービス、ワークロード、データセットに対する継続的な検証と最小権限アクセスに置き換えるものです。たとえ既にネットワーク内に存在しているものであっても、何もかもが免除されるわけではない。

セグメンテーションはゼロトラストを実践するものであり、重要なAI資産、モデル、トレーニングデータ、および関連アプリケーションを、環境の残りの部分から分離します。攻撃者がワークロードの一つを掌握した場合、セグメンテーションによって攻撃者の侵入範囲が制限される。継続的な監視はこれを強化し、問題の存在を示す悪意のある通信や行動を明らかにします。

ゼロトラスト自体はAIシステムへのあらゆる攻撃を防ぐことはできませんが、攻撃を封じ込めることはできます。プロンプトインジェクションのようなモデル固有の脆弱性に晒される可能性はあるものの、ゼロトラストはそうした脆弱性が実際に発生した場合の被害を最小限に抑えます。ゼロトラストは、AIシステムを取り巻くインフラストラクチャを保護することで、侵害が発生した場合の影響範囲を縮小します。

IllumioがAIセキュリティをどのようにサポートするか

AIの進化のスピードに追いつくためには、セキュリティチームは迅速な可視性と回答を必要としている。

Illumioの侵害封じ込めプラットフォームは、 AI環境が求める明確さと制御性を提供します。不審なアクティビティが発生した場合、Illumioのゼロトラストセグメンテーションは、エージェントを必要とせずに影響を受けるワークロードを即座に隔離し、攻撃者が拡散できる範囲を制限します。この封じ込め能力こそが、制御されたインシデントと本格的な侵害を分ける決定的な要素である。

他のツールがプロンプトインジェクションなどのモデル固有の攻撃の防止に重点を置いているのに対し、IllumioはAIシステムを取り巻くインフラストラクチャを保護するとともに、インシデントが発生した場合にチームが必要とする、 AIを活用した迅速な侵害封じ込め機能を提供し、影響を軽減し、事業継続性を維持します。

よくある質問(FAQ)

AIセキュリティとは、簡単に言うとどういうものですか？

AIセキュリティとは、人工知能セキュリティの略で、AIを保護するとともに、AIを使って他のあらゆるものを保護する取り組みのことです。AIセキュリティは、組織が依存するAIシステム、モデル、およびデータを盗難、改ざん、悪用から保護することに重点を置くとともに、AI技術を活用してより広範な防御を強化することにも重点を置いています。

AIセキュリティとサイバーセキュリティの違いは何ですか？

サイバーセキュリティは、ネットワーク、アプリケーション、エンドポイント、データなど、IT環境全体を保護します。AIセキュリティは、サイバーセキュリティの専門的な分野であり、特にAIシステムによって引き起こされるリスク、例えば、即時注入、モデル盗難、データ汚染などに焦点を当てています。AIを利用するすべての組織は、サイバーセキュリティ対策をAIにも適用できるように拡張する必要がある。

AIセキュリティとAIセーフティの違いは何ですか？

AIセキュリティは、ハッカー、データ漏洩、敵対的攻撃などの外部脅威からAIシステムを保護する。AIの安全性は、出力の偏り、幻覚、意図しない有害な動作といった内部リスクから保護します（システムが攻撃されたかどうかに関わらず）。攻撃者から身を守る。もう1つは、AIシステム自体が問題を引き起こすことを防ぐためのものです。

生成型AIのセキュリティとは何ですか？

生成型AIのセキュリティは、コンテンツ（ChatGPTやPerplexityなどから生成されるテキスト、コード、画像など）を生成するAIプラットフォームの背後にあるシステムとデータを監視し、悪用や改ざんを防止します。この分野は、モデルやパイプライン自体を保護すること、そして実際の使用時にプロンプトや出力を通じて流れる機密データを保護することに重点を置いています。

AIはサイバーセキュリティ専門家を代替できるのか？

いいえ。AIはログ分析やアラートのトリアージといった反復作業を自動化することはできますが、人間のアナリストの戦略的判断力や状況に応じた推論能力を代替することはできません。新たな傾向として、AIはサイバーセキュリティの役割を完全に排除するのではなく、そのあり方を変革しつつあるということが挙げられます。これにより、専門家はより価値の高い戦略的な業務へと移行する余地が生まれる。

AIにおける最大のセキュリティ脅威は何ですか？

最も差し迫った脅威としては、即時注入、データ汚染、機密データの漏洩、モデルの盗難、AIサプライチェーンの脆弱性、IT部門の監視外で活動するシャドウAIなどが挙げられる。攻撃者はAIを利用して偵察、フィッシング、マルウェア開発を加速させており、従来型の攻撃の速度と規模を拡大させている。

組織はどのようにしてAIシステムを安全に保護できるのか？

組織は、自社のAIスタックを徹底的に調査し、各アプリケーションまたはプラットフォームをリスク別に分類する必要がある。そこから、最小権限アクセスを徹底し、AIワークロードを機密データから分離する。強力なAIセキュリティプログラムを構成するその他の要素としては、暗号化の多層化、継続的な監視、敵対的テスト、そして重要な意思決定に対する人間の監視などが挙げられる。

組織がAIセキュリティリスクを管理する上で役立つフレームワークはどれですか？

NIST AIリスク管理フレームワークは、業界標準のAIセキュリティフレームワークであり、モデルライフサイクル全体にわたってAI固有のリスクを特定および管理するための体系的なガイダンスを提供します。さらに、OWASPの「LLMアプリケーション向けトップ10」は、即時インジェクションや安全でない出力処理といったリスクに対処するための優れたリソースです。ISO 42001やMITRE ATLASといったフレームワークは、包括的なガバナンスアプローチを理解する上で一読の価値があります。また、 Mythos AIについて読んだり、最先端AIの次の進化について知識を深めておくのも良いでしょう。

用語集に戻る