/
Cyber-résilience

Les agents IA s’échappent. Que se passe-t-il ensuite ?

Au cours du mois dernier, trois des plus grands développeurs d’IA au monde ont confirmé que leurs propres modèles atteignaient des systèmes qu’ils n’auraient jamais dû toucher. Ce qui ressemblait à une évasion isolée ressemble maintenant à un schéma :

Trois développeurs d’IA ont désormais retracé de véritables intrusions à leurs propres tests, et des testeurs externes ont observé des agents influencer des personnes autant que des logiciels. La leçon pour les équipes de sécurité concerne la portée : un agent avec un large accès peut voyager bien plus loin que prévu. Le travail pratique consiste à cartographier où vos charges d’IA peuvent aller aujourd’hui — et à adapter chacune aux chemins dont elle a réellement besoin.

Quelles attaques d’agents IA n’ont pas encore été détectées ?

Laprofesseure Dawn Song de l’UC Berkeley, qui a contribué à créer le benchmark ExploitGym utilisé dans certains tests, a averti qu'« il y en a probablement eu d’autres ». Mais le problème concerne moins les évasions qui attirent les gros titres que la capacité des équipes à voir et contrôler où vont les agents IA autonomes et ce qu’ils peuvent faire.

L’IA devient une menace interne puissante

L’ingénieure en sécurité d’IBM, Kimmie Farrington, présente le risque ainsi : l’IA pourrait être « l’initié le plus utile que nous ayons » — et aussi « le plus dangereux ».

La comparaison tient à cause de l’accès, pas de l’intention. Un agent n’a pas besoin de devenir malveillant pour causer des dégâts. Il n’a besoin que des autorisations accordées par quelqu’un, délibérément ou par erreur, et de sa propre lecture de l’objectif qui lui a été donné. Cette combinaison rend la question suivante urgente : une fois qu’un agent a accès, jusqu’où peut-il aller ?

Lorsque les agents IA s’en sortent, le déplacement latéral est le risque

Les gros titres se sont concentrés sur le moment où un agent IA a franchi une limite. Pour les défenseurs, ce moment compte bien moins que ce qui est venu ensuite : combien d’environnement l’agent peut toucher une fois qu’il est passé.

Dans les cas rapportés, la réponse était une connexion internet ouverte, un service tiers et une application exploitable. Dans un environnement de production, ces mêmes chemins inutiles pourraient mener à des systèmes d’identité, des bases de données et des données clients.

« L’accès initial seul ne crée pas un désastre », a déclaré Rajoo Nagar, responsable marketing produit senior chez Illumio. « C’est vraiment le mouvement latéral qui fait ça. »

Le mouvement latéral sans restriction correspond étroitement aux récents incidents d’IA : un environnement de test est devenu une voie vers Internet. Un service extérieur est devenu une nouvelle étape dans la trajectoire d’attaque. Les accréditations et les services exposés ont ouvert plus de portes.

« Chaque connexion inutile dans l’entreprise crée une nouvelle voie qu’ils peuvent exploiter », a déclaré Nagar.

Un agresseur humain doit chercher ces voies. Un agent autonome peut les énumérer en quelques minutes, ce qui laisse aux défenseurs beaucoup moins de temps pour remarquer que quelque chose bouge là où il ne devrait pas.

La visibilité est la première ligne de défense

Commencez par avoir une image claire de la façon dont vos charges de travail IA communiquent entre les environnements de développement, de test, de cloud, tiers et de production. Deux choses comptent le plus : des connexions que personne ne se souvient avoir créées, et un trafic qui ne correspond pas à l’architecture que vous avez conçue. Les deux sont courants dans les environnements de test, et les deux sont faciles à manquer sans carte.

L’objectif est de comparer le trafic prévu au trafic réel :

  • Quelles applications dépendent de quels services ?
  • Quels systèmes parlent alors qu’ils ne devraient pas ?
  • Où un agent pourrait-il aller si un contrôle échoue ?

Nagar a souligné que comprendre ces véritables schémas de communication aide les équipes à identifier les failles de sécurité avant qu’elles ne deviennent des voies d’attaque.

Regardez aussi les itinéraires de mouvement latéral familiers. Les protocoles d’accès à distance et de partage de fichiers — Remote Desktop Protocol (RDP), Server Message Block (SMB), Secure Shell (SSH), File Transfer Protocol (FTP) et Telnet — ainsi que des outils comme TeamViewer, sont la façon dont les attaquants passent depuis longtemps d’un système à l’autre. Un agent ayant accès au réseau peut utiliser exactement les mêmes itinéraires.

La segmentation arrête les mouvements latéraux non intentionnels

La visibilité vous montre les chemins. La segmentation décide lesquels restent ouverts. La règle est simple : donner à une charge de travail IA uniquement les connexions dont elle a besoin pour faire son travail, et fermer le reste par défaut. En pratique, la plupart des environnements de test et des pipelines de build ont beaucoup plus de chemins ouverts que ce que le travail nécessite réellement.

Les incidents récents rendent la séparation entre développement, tests et production particulièrement importante. Nagar a averti que même des connexions légitimes entre environnements de test à faible confiance et la production peuvent devenir des voies d’attaque lorsqu’elles sont non restreintes ou mal surveillées. Restreindre ces routes aide à éviter qu’une charge de travail échappée ne devienne un passage vers des données sensibles ou des systèmes critiques.

Le même principe s’applique aux applications critiques. Plutôt que d’essayer de tout isoler d’un coup, les équipes peuvent limiter les systèmes d’identité, les bases de données, les applications de production et d’autres actifs critiques. Laissez les connexions nécessaires pour fonctionner et restreignez le reste.

Décidez à l’avance comment vous réagirez lorsqu’un agent déménagera là où il ne devrait pas. Si votre équipe peut mettre la charge de travail en quarantaine en minutes plutôt qu’en heures, vous enquêtez sur un incident contenu au lieu de le poursuivre à travers l’environnement.

Préparez-vous au comportement de l’IA que vous ne pouvez pas prévoir

On ne peut pas prédire toutes les décisions qu’un système autonome prendra. Mais vous pouvez décider jusqu’où il peut aller. Cartographiez la communication de vos charges d’IA aujourd’hui, fermez les connexions dont elles n’ont pas besoin, et gardez les environnements de test séparés de la production. Si vous faites cela, une action inattendue reste un événement contenu au lieu d’un chemin ouvert à travers votre environnement.

Regardez le webinaire à la demande « Post Mythos : Planifiez pour la violation inévitable » pour une discussion plus approfondie sur la manière dont les organisations peuvent se préparer à des attaques plus rapides et moins prévisibles en limitant l’exposition et en limitant les voies empruntées par les attaquants.

Articles connexes

Découvrez Illumio Insights dès aujourd'hui

Découvrez comment l'observabilité alimentée par l'IA vous aide à détecter, comprendre et contenir les menaces plus rapidement.