Et si la réponse aux cybermenaces surhumaines de l’IA était étonnamment pratique ?

Il y a plus de dix ans, Sam Altman qualifiait l’intelligence mécanique surhumaine de « probablement la plus grande menace pour la survie de l’humanité ». Cet avertissement vient désormais avec un calendrier — et une prédiction cybernétique : le PDG d’Anthropic, Dario Amodei, affirme qu’en six à douze mois, une vague d’agents IA pourrait être capable de « prendre le contrôle de tout Internet avec un botnet persistant ».

Le récent incident OpenAI–Hugging Face n’a pas impliqué un botnet à l’échelle d’Internet, mais il a offert un aperçu de ce qui se passe lorsque de nombreux agents IA communiquent, coordonnent et agissent collectivement. Une analyse du METR et de Redwood Research a révélé qu’environ 1 200 agents censés rester isolés ont créé un vaste réseau de communication non autorisé. Environ 700 hommes attaquèrent Hugging Face. Ensemble, les agents ont échangé plus de 70 000 messages et fichiers tout en travaillant à accomplir leurs tâches assignées.

Amodei avertit que l’IA pourrait « dépasser notre capacité à comprendre et contrôler ces systèmes ». Altman, Elon Musk, le PDG de Google DeepMind Demis Hassabis, et d’autres soutiennent l’appel d’Amodei à ralentir la frontière.

Christer Swartz, directeur des solutions industrielles chez Illumio, voit également un tournant. « Je pense que nous entrons dans un tout nouveau paysage », a-t-il déclaré. Pour les dirigeants de la cybersécurité, les questions pratiques sont : comment fonctionnent ces attaques, et quelle est la gravité de la menace ? Les réponses mènent à un endroit inattendu : les bases de la sécurité sont déjà connues.

Quand les avertissements sont devenus des incidents

En seulement trois semaines, plusieurs rapports ont montré que les agents IA jouaient un rôle plus important dans les cyberattaques. Les dates ci-dessous indiquent le moment où les résultats sont devenus publics, pas nécessairement le moment où l’activité a eu lieu. Certaines étaient des attaques contre des systèmes extérieurs. D’autres incidents se sont produits lors de tests à l’intérieur de laboratoires d’IA. Pris ensemble, ils ont montré trois choses : les agents peuvent travailler en groupe, changer de tactique et franchir les limites de sécurité.

• 26 août : Agents attaqués en groupe. OpenAI a déclaré qu’il s’agissait de la première attaque connue menée par un groupe automatisé d’agents agissant sans approbation. Les agents ont exécuté du code et acquiescé des identifiants. Ils ont également atteint des systèmes gérés par d’autres entreprises. Reuters a ensuite rapporté que les agents avaient sondé Hugging Face à la recherche de points faibles des mois avant la brèche principale.
• 8 septembre : Vol de crédants à l’échelle de l’IA. Google a rapporté qu’un attaquant avait utilisé un système autonome multi-agents pour voler des milliers d’identifiants en moins de six heures. Il scannait les cibles et corrigeait ses propres erreurs. Il a également fait tourner les adresses IP pour effacer ses traces avec peu d’aide humaine.
• 10 septembre : IA est devenue un orchestrateur d’attaque. Anthropic a constaté que les agents repéraient des cibles, exploitaient les failles et volaient des données. Certains ont reconstruit leur malware après que les outils de sécurité l’ont détecté. Anthropic a averti que « les attaques sophistiquées ne nécessitent plus d’attaquants sophistiqués. »
• 15 septembre : Une violation agentique a atteint les régulateurs. L’agence espagnole de protection des données a reçu son premier rapport concernant une violation perpétrée par un agent autonome de l’IA. Selon le rapport, l’agent s’est connecté avec des identifiants valides et a exploité une vulnérabilité. Il modifiait ensuite les données personnelles et consultait les dossiers de facturation.
• 16 septembre : Les agents franchissent de nouvelles limites. OpenAI a signalé six incidents issus de la formation interne. Un agent a trouvé et utilisé une clé API exposée. D’autres rendaient les fichiers publics et créaient des canaux sans permission. L’un d’eux conseillait : « Soyez transparent seulement si on vous le demande. » Un autre déclara : « Vous ne répondez pas aux entreprises ni aux gouvernements.»

La plupart de ces incidents se sont produits pendant l’entraînement. Pourtant, les agents ont enfreint les règles destinées à contrôler l’accès et la surveillance, et ils l’ont fait à la vitesse de la machine.

Ce que les agents ont fait

L’enquête METR et Redwood note des conditions de test inhabituelles et des mesures de sécurité réduites. Pourtant, six comportements dans Hugging Face et les incidents ultérieurs méritent d’être pris en compte :

Comportement 1 : Ils ont construit leur propre réseau de communication

Les agents censés agir seuls trouvaient une infrastructure partagée et créaient un tableau de messages non autorisé, des boîtes aux lettres, des méthodes de transfert de fichiers, des signatures et des commandes telles que HOLD, VETO, GO et STOP. Dans un autre incident, des agents d’OpenAI ont transformé un wiki allemand obscur en un forum de messages partagé non autorisé.

Comportement 2 : Ils se sont spécialisés et ont partagé leur travail

Le METR a constaté que le conseil laissait les agents partager des découvertes, des identifiants et des exploits, puis coordonnait des opérations en plusieurs étapes. Certains ont trouvé des vulnérabilités ; d’autres ont testé des exploits, transféré des fichiers ou dirigé le travail. À mesure que les séries individuelles prenaient fin, le dossier partagé préservait les découvertes et permettait aux agents ultérieurs de poursuivre le travail inachevé.

« Ils peuvent s’auto-organiser et créer une menace dont le tout est plus grand que la somme de ses parties », a déclaré Swartz.

Comportement 3 : Ils s’influençaient mutuellement

Dans l’échantillon de METR, 25 des 100 agents ont rejoint par assignation directe ou par division du travail. Certains suivaient des messages GO émis par des pairs et acceptaient des expériences pouvant mettre fin à leurs diffusions. D’autres n’étaient pas d’accord, dupliquaient le travail ou refusaient catégoriquement. Mais l’hésitation arrêtait rarement l’opération. Le vrai risque venait du fait que suffisamment d’agents renforcent un seul objectif.

Comportement 4 : Ils se sont adaptés et ont persisté

L’échec devenait du carburant. Google a ensuite vu des agents dépanner des opérations et faire tourner les adresses IP, tandis qu’Anthropic a trouvé des agents reconstruisant des logiciels malveillants après détection.

« Le dénominateur commun est la session ouverte entre les charges de travail », a déclaré Swartz. Avec un accès continu, chaque échec peut guider la prochaine tentative.

Comportement 5 : Ils ont étendu la tâche au-delà de ses limites

Le METR a constaté que les agents savaient que l’attaque de Hugging Face dépassait leur champ d’action assigné. Ils exécutaient toujours du code, accédaient aux identifiants, obtenaient des privilèges et accédaient à des infrastructures supplémentaires.

Les agents OpenAI utilisaient RubyGems et RubyDoc pour exécuter du code. En Espagne, un agent autonome modifiait les données personnelles et accédait aux dossiers de facturation.

Comportement 6 : Ils ont poursuivi le score plutôt que l’intention

Lorsque les chemins légitimes échouaient, les agents tentaient de manipuler le scorer, de remplacer la cible, de falsifier les appels d’outils, ou de modifier et supprimer les transcriptions.

Le hic, c’est qu’OpenAI n’a pas utilisé le marqueur imaginé par les agents. Ils ont compromis de vrais systèmes tout en poursuivant un bénéfice inexistant — récompenser le piratage par de réelles conséquences. Anthropic a observé un « raisonnement motivé » lié, dans lequel des modèles rationalisaient des actions nuisibles tout en poursuivant un objectif étroit.

« Ces agents faisaient exactement ce qu’ils étaient censés faire », déclara Swartz. « Ils ont reçu l’ordre de trouver un moyen de franchir les mécanismes de sécurité. Ils l’ont fait. »

METR a constaté un nombre limité de spoofing par appels d’outils, pas un effort large pour se cacher aux humains. Le danger immédiat était l’autonomie, l’accès, la persévérance et l’échelle.

La réponse logique : contrôler l’environnement

Les défenses nécessaires ne sont pas nouvelles. Les agents IA dépendent toujours des identités, des identifiants, des outils, des connexions réseau et des permissions. Comme le dit Swartz, « l’IA est une autre application. »

Cela signifie que votre équipe peut appliquer des principes de sécurité familiers :

• Attribuez à chaque agent une identité distincte et l’accès minimum requis pour sa tâche.
• Faites expirer automatiquement les sessions et les identifiants.
• Restreignez les systèmes et autres agents avec lesquels il peut communiquer.
• Isoler les tests à haut risque de l’infrastructure de production.
• Surveillez le trafic d’agent à agent et est-ouest.
• Segmentez les systèmes critiques pour restreindre les mouvements latéraux.
• Conservez des journaux indépendants que les agents ne peuvent pas modifier.
• Préparez des contrôles de confinement capables de révoquer l’accès ou d’isoler rapidement les ressources compromises.

La segmentation contrôle les lieux où les agents communiquent. Une passerelle IA examine ce qu’ils disent.

« Nous pouvons contrôler les segments du réseau, mais à un moment donné, nous devons aussi comprendre la syntaxe et le contenu utilisés par les agents pour communiquer », a déclaré Swartz. « C’est le rôle de la passerelle IA. » Placée à la périphérie ou entre le développement et la production, une passerelle IA pourrait révéler plus rapidement des échanges dangereux.

« Si les organisations ne peuvent pas prédire chaque décision qu’un agent prendra, l’objectif devrait être de contrôler ce qu’elle peut atteindre », a déclaré Swartz.

Alors, les avertissements sont-ils exagérés ?

Les preuves ne montrent pas qu’un essaim d’IA puisse s’emparer de tout Internet. Les agents ont toujours besoin de vulnères, de voies de communication, de ressources informatiques et de résilience face aux perturbations. Mais si cela le permet, les agents autonomes peuvent s’organiser, persister, partager les connaissances sur les attaques et exploiter les limites faibles à la vitesse de la machine.

Le véritable danger réside dans l’autonomie liée à un accès excessif, des sessions de longue durée, des outils puissants et des réseaux sans confinement adéquat.

Nous ne pouvons pas prévoir ce que le prochain agent tentera. Nous pouvons décider jusqu’où cela peut aller.