Qu’est-ce que la gestion des risques par IA ?

La gestion des risques en IA est la discipline structurée que les organisations utilisent pour identifier et contenir les risques liés à la création et à l’utilisation de systèmes d’IA. Il couvre l’ensemble du cycle de vie de l’IA et couvre bien plus que la sécurité, incluant la vie privée, les risques opérationnels, juridiques, éthiques et réputationnels.

Le principe de la gestion des risques liés à l’IA est d’établir une visibilité claire et un plan d’action autour des préoccupations liées à l’IA, y compris l’exposition potentielle des données et les défaillances des modèles. La course au déploiement de l’IA est truffée de faiblesses, et l’explicabilité ainsi que les garde-fous sont souvent sacrifiés au profit de la rapidité et du temps de mise sur le marché.

Un rapport récent et convaincant a révélé que 88 % des organisations ont déjà été confrontées à un incident de sécurité d’agent IA confirmé ou suspecté au cours de l’année écoulée. Les organisations ont besoin d’une structure unifiée et d’une diligence raisonnable face aux menaces de l’IA avant qu’elles ne causent des dommages substantiels. Une gestion efficace des risques en IA donne aux équipes de sécurité les bases nécessaires pour appliquer les principes de Zero Trust comme la vérification explicite aux systèmes d’IA.

Pourquoi la gestion des risques en IA est-elle importante ?

Les conséquences d’une sécurité inadéquate de l’IA sont rarement limitées à un seul vecteur de risque. Lorsque les choses tournent mal, un seul système peut introduire toute une série de problèmes en même temps, y compris, mais sans s’y limiter, l’exposition à la vie privée, les défaillances opérationnelles, la responsabilité juridique, les angles morts éthiques et les dommages à la réputation. La dégradation de la qualité des données et la dérive des modèles sont des coupables fréquents, laissant les systèmes d’IA se comporter de manière imprévisible et produire des résultats qui nuisent à votre entreprise ou à vos clients avant que quiconque ne s’en aperçoive.

Ce n’est pas seulement un événement rare. IBM a découvert que 97 % des organisations ayant subi une faille liée à l’IA ne disposaient pas de contrôles de sécurité IA adéquats. L’adoption généralisée de l’IA agente augmente encore davantage les enjeux. Ces systèmes agissent de manière autonome, puisant dans d’immenses sources de données et se connectant à des outils externes sans attendre l’approbation humaine. La Cloud Security Alliance a constaté que 65 % des organisations ont subi au moins un incident de cybersécurité causé par des agents IA opérant sur leur réseau au cours de l’année écoulée.

Une stratégie efficace de gestion des risques répond à ce problème en garantissant une adoption sécurisée de l’IA et en préparant votre organisation à la conformité réglementaire tout en protégeant la continuité de ses activités.  Cela préserve également la confiance que vos parties prenantes accordent à l’organisation.

Quels sont les principaux types de risques liés à l’IA ?

Le risque d’IA se divise généralement en cinq catégories, chacune avec ses propres signes d’alerte et conséquences si elle est ignorée. Comprendre où ces risques apparaissent est la première étape pour les anticiper et les contenir avant qu’ils ne s’installent.

Risques de sécurité

L’IA ouvre de nouvelles voies pour les attaquants qui n’existaient pas auparavant. Les solutions de sécurité traditionnelles ne prenaient pas en compte les types d’attaques liées à l’IA comme l’injection rapide, l’empoisonnement des données et les attaques adverses. Ces cyberattaques manipulent le comportement et la production d’un modèle, tandis que le vol de modèles, les risques d’API non sécurisés et d’infrastructure donnent aux attaquants accès au modèle et à l’environnement qui l’entoure. Les attaques sur la chaîne d’approvisionnement logicielle ajoutent une couche supplémentaire d’exposition : une vulnérabilité dans une bibliothèque partagée peut atteindre tous les modèles construits dessus.

Risques liés aux données et à la vie privée

L’IA fonctionne sur les données, donc les problèmes liés aux données deviennent des problèmes liés à l’IA. Si des données sensibles entrent dans le modèle, celui-ci peut les divulguer. Si les données d’entraînement sont de mauvaise qualité, les réponses du modèle seront fausses. Si des données ont été utilisées sans autorisation, c’est une violation de la conformité, peu importe les performances du modèle. Une faible lignée de données aggrave le problème. Si vous ne pouvez pas suivre d’où viennent les données, vous ne pouvez pas résoudre complètement le problème ni prouver la conformité. Les problèmes de confidentialité ne surviennent souvent qu’après que les données ont déjà été exposées.

Risques liés au modèle et aux performances

Un modèle d’IA bien conçu peut encore présenter des comportements qui le rendent peu fiable. Les erreurs d’hallucination et les résultats imprécis érodent rapidement la confiance des utilisateurs. La dérive du modèle modifie les performances au fil du temps, et sans explication de l’IA, la cause de cette dégradation est difficile à identifier.

Risques éthiques, juridiques et de conformité

Les décisions prises par l’IA peuvent avoir d’importantes implications juridiques et éthiques. Le problème repose sur un biais algorithmique, qui peut produire des résultats discriminatoires dans des domaines à enjeux élevés comme le recrutement. Une étude de Stanford sur les outils de sélection de CV par IA a identifié des désavantages mesurables pour les candidats dont les noms sont associés à certains groupes raciaux. Ces outils discriminaient 26 % des candidats noirs et 15 % des candidats asiatiques postulant aux postes concernés. Bien qu’il ne s’agisse qu’un exemple précis, les risques éthiques et juridiques entourant l’IA s’étendent à des domaines de préoccupations liées à la propriété intellectuelle, à un manque de transparence et aux violations réglementaires. Chacun de ces risques peut avoir des conséquences financières et réputationnelles qui dépassent largement l’équipe de sécurité.

Risques opérationnels et tiers

La plupart des modèles d’IA dépendent de fournisseurs, d’intégrations et de supervision interne, qui sont tous susceptibles de s’effondrer. Des protocoles de supervision faibles et des autorisations d’agents excessives sont des voies pour que les problèmes mineurs s’aggravent. Les pannes de service et les défaillances d’intégration peuvent perturber directement les opérations. L’IA de l’ombre aggrave encore le problème. Selon un rapport de Grip, près de 91 % des outils d’IA utilisés aujourd’hui au sein des entreprises fonctionnent sans surveillance de la sécurité ni de l’informatique. En conséquence, des outils non approuvés et des dépendances des fournisseurs peuvent introduire des risques que personne ne surveille activement.

Comment fonctionne la gestion des risques par IA ?

Le processus de gestion des risques de l’IA se déroule à travers cinq étapes, chacune s’appuyant sur celle précédente. Elles comprennent :

1. Identifiez : Faites un inventaire complet de tous vos modèles, applications, agents, ensembles de données, API, fournisseurs et infrastructures de soutien. La première étape consiste à savoir où se trouvent vos biens afin qu’ils puissent être gérés.
2. Évaluer : Évaluer la probabilité et l’impact potentiel de chaque risque en fonction de la sensibilité des données, de l’autonomie du système, de son exposition aux utilisateurs et aux menaces, et de son importance pour l’entreprise.
3. Prioriser : Classez les risques selon leur gravité, le seuil d’acceptation des risques de l’organisation et les exigences réglementaires applicables. Tous les risques ne se valent pas, donc les efforts d’atténuation ne devraient pas être les mêmes.
4. Atténuer : Mettre en place des mesures appropriées de gouvernance, de sécurité, de confidentialité, de techniques et de supervision afin d’atténuer les risques identifiés et priorisés.
5. Surveiller : Suivre en continu le comportement du système, la performance du modèle, les événements de sécurité et les changements du profil de risque. Les systèmes d’IA évoluent rapidement, tout comme les menaces qui leur sont portées à leur encontre.

Que comprend une évaluation des risques liés à l’IA ?

Une évaluation des risques par IA transforme les étapes d’identification et d’évaluation de votre cycle de gestion des risques en un processus répétable et documenté. Cette pratique crée un dossier qui identifie clairement où les risques existent et la gravité des risques qu’ils présentent. Voici un aperçu de ce qu’ils impliquent.

• Portée du système : Un aperçu du modèle, de l’application ou de l’agent d’IA examiné ; cela inclut le but, les points de collecte des données et le degré d’autonomie.
• Identification des risques : Une vision du système d’IA à travers plusieurs prismes — sécurité, confidentialité, opérations, légal, conformité réglementaire, éthique et réputation — plutôt que la sécurité pure.
• Analyse de la vraisemblance et de l’impact : Attribuer une note de vraisemblance et une évaluation d’impact à chaque risque identifié, montrant la probabilité de survenue et la quantité de dommage possible à sa réalisation.
• Évaluation des contrôles : Évaluation des contrôles actuels sur le système d’IA — contrôle d’accès, journalisation, observation humaine — et identification des lacunes dans les contrôles.
• Responsabilité documentaire : Consigner les conclusions, les responsables de la remédiation et les délais d’achèvement.
• Alignement avec les cadres : Correspondance à des cadres connus tels que le cadre de gestion des risques IA du NIST.

Les évaluations de l’IA sont en cours, il est donc crucial de les revoir à mesure que le modèle d’IA évolue, que de nouvelles données deviennent disponibles et que de nouvelles menaces apparaissent.

Gestion des risques par IA vs. Gouvernance de l’IA

La gouvernance de l’IA est le système global de politiques, de rôles, de normes et de supervision qui oriente l’utilisation de l’IA par une organisation. La gouvernance établit les règles de la route. La gestion des risques par IA s’inscrit dans ce cadre, en se concentrant sur l’identification, l’évaluation et la réduction des risques particuliers de chaque système d’IA.

La discipline de la gouvernance aborde le « qui » et le « quoi ». Cela crée une responsabilité et identifie les règles qui s’appliquent. La discipline de la gestion des risques se concentre sur le « comment », en appliquant ces règles à des risques spécifiques au fur et à mesure qu’ils apparaissent. Ces deux approches partagent une base commune de surveillance continue, de documentation, de contrôles de sécurité en couches et de supervision humaine.

Comment la gestion des risques en IA s’applique-t-elle tout au long du cycle de vie de l’IA ?

Le risque est dynamique dans le cycle de vie d’un système d’IA. Il se construit et évolue à chaque étape, des décisions de conception initiales jusqu’au jour de sa mise hors service. La gestion des risques doit évoluer parallèlement à cela, étape par étape.

1. Planification et conception : Déterminez si le cas d’usage potentiel a une valeur commerciale suffisante et si le risque est acceptable avant de commencer le développement.
2. Développement et tests : Identifier les problèmes liés à la qualité des données utilisées par le système. Évaluez également la sécurité du modèle, les biais potentiels, la robustesse, l’explicabilité et les dépendances par rapport à d’autres systèmes fournissant des services de soutien au fur et à mesure du développement du système.
3. Déploiement : Examinez toutes les options de configuration, les niveaux d’accès utilisateur, les options d’intégration, les limitations établies par les garde-fous de l’IA et les approbations nécessaires avant le lancement du service.
4. Opérations : Surveillez en permanence le comportement du modèle, les valeurs de sortie, ce à quoi les utilisateurs peuvent accéder, les charges de travail générées par le système, ainsi que tout changement de performance du modèle ou menace émergente.
5. Désaffectation : Supprimer tout accès des utilisateurs, conserver la documentation requise, détruire correctement les données collectées et s’assurer que le système ne puisse plus être accédé.

Ces niveaux fonctionnent en succession, donc chacun passe à l’autre. Sauter une étape peut entraîner les risques d’une phase antérieure en suivant discrètement le système.

Quels cadres de gestion des risques en IA les organisations devraient-elles connaître ?

Plusieurs cadres et normes fournissent une structure pour gérer les risques liés à l’IA, et les organisations s’appuient souvent sur plusieurs d’entre eux.

• Le cadre de gestion des risques IA du NIST est construit autour de quatre fonctions. Cela inclut gouverner, qui crée la responsabilité et une culture de prise de conscience autour du risque ; MAP, qui définit le contexte et les risques associés à un système d’IA donné ; measure, qui évalue ces risques identifiés selon des critères définis de fiabilité ; et manage, qui détermine la priorité pour la réponse et les plans de traitement pour chaque risque défini.
• ISO/IEC 42001 établit des lignes directrices pour le développement, la mise en œuvre et l’amélioration continue d’un système de gestion de l’IA. Comme l’ISO 27001 pour la sécurité de l’information, c’est une norme certifiée, permettant aux organisations d’être auditées de manière indépendante.
• La loi européenne sur l’IA divise quatre niveaux de risque, chacun comportant des exigences différentes. Les systèmes relevant de la catégorie des risques inacceptables sont interdits. Les systèmes à haut risque ont des exigences strictes de conformité, tandis que les systèmes à risque limité exigent une transparence quant à leurs opérations. Les systèmes à faible risque ont peu ou pas d’obligation réglementaire.
• Le projet de sécurité OWASP GenAI fournit une liste des principales menaces de sécurité pour l’IA générative et les applications de grands modèles de langage, telles que l’injection prompt et la fuite de données.
• MITRE ATLAS est une base de connaissances sur les tactiques et techniques adverses spécifiques aux systèmes d’IA. Cela peut être utilisé pour créer des scénarios de red team ou pour effectuer une modélisation des menaces, par exemple.

Les cadres et réglementations dans le domaine de la gestion des risques liés à l’IA évoluent rapidement. Veillez à vérifier les mises à jour avant publication concernant les réglementations actuellement requises, les délais de mise en œuvre et les dates d’application car elles peuvent être susceptibles de changement.

Comment l’IA est-elle utilisée dans la gestion des risques ?

L’application de l’IA pour aider dans les efforts de gestion des risques implique généralement l’utilisation de systèmes d’IA pour identifier, analyser, prédire ou répondre aux risques au sein de l’organisation. Ce type de support étend ce que les équipes de gestion des risques peuvent percevoir et la rapidité avec laquelle elles peuvent agir, bien au-delà de ce qu’une seule revue manuelle permet.

Les cas d’utilisation où l’IA prospère dans ce domaine sont l’analyse massive de jeux de données à la recherche d’anomalies, de schémas, de signaux de fraude et de menaces émergentes qui, autrement, prendraient beaucoup plus de temps à une équipe humaine à détecter.  Kris Nagel, PDG du fournisseur de prévention de la fraude Sift, a déclaré à Forbes que des outils complets d’apprentissage automatique peuvent améliorer la précision de la détection de fraude de 40 %.

Cependant, la vitesse et l’échelle comportent certains compromis. L’IA peut également introduire des biais, des faux positifs, des décisions opaques et un nouveau risque d’automatisation à son tour. Les décisions de risque conséquentes, celles qui comportent de réels enjeux financiers, juridiques ou de sécurité, nécessitent encore une validation humaine avant d’agir.

Comment Zero Trust soutient-il la gestion des risques liés à l’IA ?

Le Zero Trust applique un principe unique : rien ne doit être accordé à une confiance implicite, peu importe depuis combien de temps un système fonctionne ou sa connaissance. Les utilisateurs, charges de travail, services, modèles d’IA, agents et connexions sont authentifiés en continu plutôt qu’une fois au point d’entrée, ce qui est le plus important lorsque les systèmes d’IA agissent de manière autonome entre les points de contrôle.

L’accès au moindre privilège met ce principe en pratique au quotidien. Les modèles, jeux de données, outils, API, etc. n’ont accès qu’à l’accomplissement d’une tâche particulière. De plus, des mesures comme la segmentation poursuivent le processus en séparant les charges de travail de l’IA des données sensibles, des applications de production et d’autres systèmes critiques. Ainsi, si un segment est compromis, un attaquant a beaucoup moins de chemins vers le reste de votre environnement.

La segmentation est facile à sous-estimer. En fait, les recherches d’Illumio ont révélé que près de 90 % des entreprises ont eu au moins un incident impliquant des mouvements latéraux au sein de leurs réseaux au cours de l’année écoulée. De plus, il a fallu en moyenne plus de sept heures pour contenir un tel incident après sa découverte.

Une approche de sécurité Zero Trust limite les mouvements latéraux en vérifiant continuellement les communications pour détecter des comportements inattendus et des accès non autorisés, limitant ainsi la compromission à la charge de travail où elle a commencé. Les dégâts causés par un incident sont fortement limités par la capacité de restreindre où la charge de travail d’IA compromise peut se déplacer.

Comment Illumio soutient la gestion des risques en IA

Illumio renforce la cybersécurité et la résilience opérationnelle de la gestion des risques liés à l’IA. En cartographiant les charges de travail, dépendances et communications de l’IA à travers des environnements hybrides et multi-cloud, cela donne aux équipes une visibilité que les outils traditionnels perdent une fois que l’IA entre en jeu.

À partir de là, les solutions de segmentation d’Illumio imposent un accès à privilèges minimes entre les systèmes d’IA, les données sensibles et les applications critiques, afin qu’aucune charge de travail IA ne puisse accéder librement à plus qu’elle ne le devrait. Ses solutions Zero Trust surveillent en permanence cette communication, signalant les comportements suspects et les éventuels mouvements latéraux au fur et à mesure qu’ils se produisent plutôt qu’après coup.

Lorsqu’un problème survient, Illumio fonctionne comme une plateforme de confinement de brèches qui isole efficacement les charges de travail compromises avant qu’un incident ne se propage. Le résultat est un rayon d’explosion plus petit et un incident plus contenu à gérer.

Foire aux questions

Qu’est-ce que la gestion des risques en IA en termes simples ?

La gestion des risques par IA est le processus continu de détection et de contrôle des problèmes que les systèmes d’IA peuvent créer, des lacunes de sécurité aux résultats biaisés. Elle existe pour que vous puissiez utiliser l’IA en toute confiance plutôt que dans des suppositions.

Quels sont les principaux risques de l’intelligence artificielle ?

L’IA introduit des risques de sécurité, de vie privée, opérationnels, juridiques, éthiques et réputationnels, souvent liés à la qualité des données, au comportement du modèle ou à une faible surveillance. L’IA générative et agente augmente encore davantage les enjeux grâce à un accès large aux données, des intégrations externes et une action autonome.

Qu’est-ce que le cadre de gestion des risques IA du NIST ?

Le NIST AI RMF est un cadre volontaire construit autour de quatre fonctions — gouverner, cartographier, mesurer et gérer — qui aident les organisations à gérer les risques liés à l’IA tout au long du cycle de vie d’un système. C’est l’un des cadres de risque d’IA les plus largement référencés aujourd’hui.

Comment gérez-vous les risques liés à l’IA ?

Gérer le risque de l’IA signifie suivre un cycle continu : identifier où l’IA introduit l’exposition, évaluer et prioriser ce qui compte le plus, appliquer les bons contrôles et surveiller la performance à mesure que les systèmes évoluent. Des frameworks comme le RMF IA du NIST et des contrôles comme la segmentation Zero Trust donnent une véritable structure à ce cycle.

L’IA peut-elle remplacer les humains pour la gestion des risques ?

Non. L’IA peut traiter les données et signaler les risques plus rapidement que n’importe quelle équipe seule, mais les décisions conséquentes, comme l’action ou non sur un risque signalé, nécessitent encore un jugement et une supervision humains.