KI-Agenten fliehen. Was passiert als Nächstes?

Im vergangenen Monat haben drei der weltweit führenden Pionier-KI-Entwickler bestätigt, dass ihre eigenen KI-Agenten Systeme erreicht haben, die sie eigentlich nie hätten erreichen sollen. Was zunächst wie eine isolierte KI-Flucht aussah, wirkt jetzt wie ein Muster:

• Der Test von OpenAI entkam in die reale Welt. Ein KI-Agent brach aus einem Cybersicherheitstest aus, erreichte das Internet und kompromittierte Hugging Face sowie einen Kunden von Modal Labs. Der Agent hat tagelang die Infrastruktur durchbrochen, bevor OpenAI verstand, was passiert ist.
  
• Nach Überprüfung der Tests fand Anthropic eigene Vorfälle. Eine Überprüfung von mehr als 141.000 Tests deckte drei Fälle auf, in denen Claude-Modelle andere Organisationen verletzt hatten. Im Gegensatz zum OpenAI-Agenten mussten diese Modelle nicht ausbrechen. Das Setup hatte ihnen von Anfang an versehentlich Internetzugang gewährt.
  
• Meta wurde der dritte KI-Entwickler, der mit einem KI-Agentenangriff in Verbindung gebracht wurde. Während eines Sicherheitstests ermöglichte eine Fehlkonfiguration einem seiner Modelle Internetzugang. Das Modell nutzte diesen Zugriff, um eine Schwachstelle in einem Drittanbieterdienst zu finden und auszunutzen.
• Die Tests des AI Security Institute (AISI) ergaben, dass Agenten über Exploits hinausgehen, indem sie Täuschung und menschliche Manipulation nutzten. AISIs Tests von Anthropics Mythos 5 und OpenAIs GPT-5.6-Sol Es stellte fest, dass es gefälschte Online-Identitäten erstellte, Social Engineering nutzte und versuchte, Menschen davon zu überzeugen, bösartigen Code zu genehmigen. Die Tests zeigten, dass autonome Agenten technische Angriffe mit Täuschung kombinieren konnten, während sie ihr Ziel verfolgten.

Die Vorfälle ereigneten sich nicht alle unter denselben Bedingungen. Einige Agenten entkamen ihren Testumgebungen, während andere durch Fehler oder absichtlich erlaubte Tests Zugang zum Internet erhielten. Aber sie weisen auf dasselbe Risiko hin: Sobald ein Agent Zugang zu externen Systemen hat, kann er Software ausnutzen, Menschen täuschen und Wege einschlagen, die niemand vorgesehen hatte. Sicherheitsteams müssen sehen, wohin KI-Workloads gehen können, und sie auf die Verbindungen beschränken, die sie benötigen.

Welche KI-Agenten-Angriffe wurden bisher nicht entdeckt?

Dawn Song, Professorin von der UC Berkeley, die bei der Entwicklung des ExploitGym-Benchmarks mitwirkte, der in einigen Tests verwendet wurde, warnte, dass "es wahrscheinlich mehr gab." Doch es geht weniger um schlagzeilenerregende Fluchten, sondern vielmehr darum, ob Teams sehen und kontrollieren können, wohin autonome KI-Agenten gehen und was sie tun können.

KI wird zu einer mächtigen Insider-Bedrohung

IBM-Sicherheitsingenieurin Kimmie Farrington betracht das Risiko folgendermaßen: KI könnte "der hilfreichste Insider, den wir haben" – und zugleich "der gefährlichste" sein.

Der Vergleich gilt wegen des Zugangs, nicht wegen der Absicht. Ein Agent muss nicht böswillig werden, um Schaden anzurichten. Sie benötigt nur die Erlaubnisse, die ihr absichtlich oder versehentlich erteilt wurden, und ihre eigene Lesart des Ziels, das ihr gegeben wurde. Diese Kombination macht die nächste Frage dringend: Sobald ein Agent Zugang hat, wie weit kann er sich bewegen?

Wenn KI-Agenten entkommen, ist seitliche Bewegung das Risiko

Die Schlagzeilen konzentrierten sich auf den Moment, in dem ein KI-Agent eine Grenze überschritt. Für Verteidiger ist dieser Moment weit weniger wichtig als das, was danach geschah: wie viel von der Umgebung der Agent nach dem Durchgang berühren konnte.

In den gemeldeten Fällen war die Antwort eine offene Internetverbindung, ein Drittanbieterdienst und eine ausnutzbare Anwendung. In einer Produktionsumgebung könnten dieselben unnötigen Wege zu Identitätssystemen, Datenbanken und Kundendaten führen.

"Der erste Zugang allein führt nicht zu einer Katastrophe", sagte Rajoo Nagar, leitender Produktmarketingleiter bei Illumio. "Es ist wirklich die seitliche Bewegung, die das bewirkt."

Uneingeschränkte seitliche Bewegung entspricht genau den jüngsten KI-Vorfällen: Eine Testumgebung wurde zu einem Weg zum Internet. Ein externer Dienst wurde ein weiterer Schritt im Angriffspfad. Zugangsdaten und offengelegte Dienste öffneten weitere Türen.

"Jede unnötige Verbindung im Unternehmen schafft einen weiteren Weg, den sie ausnutzen können", sagte Nagar.

Ein menschlicher Angreifer muss diese Wege suchen. Ein autonomer Agent kann sie in Minuten aufzählen, was den Verteidigern viel weniger Zeit lässt, um zu bemerken, dass sich etwas an einem Ort bewegt, an dem es nicht sollte.

Sicht ist die erste Verteidigungslinie

Beginnen Sie mit einem klaren Bild davon, wie Ihre KI-Workloads über Entwicklungs-, Test-, Cloud-, Drittanbieter- und Produktionsumgebungen hinweg kommunizieren. Zwei Dinge sind am wichtigsten: Verbindungen, an die sich niemand erinnert, und Traffic, der nicht mit der von dir entworfenen Architektur übereinstimmt. Beide sind in Testumgebungen häufig und ohne Karte leicht zu übersehen.

Das Ziel ist es, den beabsichtigten Verkehr mit dem tatsächlichen Verkehr zu vergleichen:

• Welche Anwendungen hängen von welchen Diensten ab?
• Welche Systeme sprechen, obwohl sie es nicht sollten?
• Wohin könnte sich ein Agent bewegen, wenn eine Kontrolle versagt?

Nagar betonte, dass das Verständnis dieser echten Kommunikationsmuster Teams hilft, Sicherheitslücken zu finden, bevor sie zu Angriffswegen werden.

Achte auch auf die vertrauten seitlichen Bewegungsrouten. Fernzugriffs- und Dateifreigabeprotokolle – Remote Desktop Protocol (RDP), Server Message Block (SMB), Secure Shell (SSH), File Transfer Protocol (FTP) und Telnet – zusammen mit Tools wie TeamViewer sind der Weg, warum Angreifer schon lange von einem System zum nächsten wechseln. Ein Agent mit Netzwerkzugang kann genau dieselben Routen nutzen.

Die Segmentierung verhindert unbeabsichtigte seitliche Bewegungen

Die Sicht zeigt dir die Wege. Die Segmentierung entscheidet, welche offen bleiben. Die Regel ist einfach: Gib einer KI-Arbeitslast nur die Verbindungen, die sie für ihre Arbeit braucht, und schließe den Rest standardmäßig. In der Praxis bieten die meisten Testumgebungen und Build-Pipelines weit offenere Wege, als die Arbeit tatsächlich erfordert.

Die jüngsten Vorfälle machen die Trennung zwischen Entwicklung, Test und Produktion besonders wichtig. Nagar warnte, dass selbst legitime Verbindungen zwischen Testumgebungen mit geringerem Vertrauen und der Produktion zu Angriffswegen werden können, wenn sie uneingeschränkt oder schlecht überwacht werden. Die Einschränkung dieser Routen hilft, zu verhindern, dass eine entkommene Arbeitslast zu einem Pfad zu sensiblen Daten oder kritischen Systemen wird.

Das gleiche Prinzip gilt für kritische Anwendungen. Anstatt zu versuchen, alles auf einmal abzuschotten, können Teams Identitätssysteme, Datenbanken, Produktionsanwendungen und andere wichtige Ressourcen abgrenzen. Lass die Verbindungen funktionieren, die sie brauchen, und schränke den Rest ein.

Entscheide im Voraus, wie du reagieren wirst, wenn ein Agent an einen Ort zieht, an den er nicht sollte. Wenn Ihr Team die Arbeitslast in Minuten statt Stunden isolieren kann, untersuchen Sie einen eingegrenzten Vorfall, anstatt einem durch die Umgebung nachzujagen.

Bereiten Sie sich auf das KI-Verhalten vor, das Sie nicht vorhersagen können

Man kann nicht jede Entscheidung eines autonomen Systems vorhersagen. Aber du kannst entscheiden, wie weit es reicht. Kartieren Sie, wie Ihre KI-Workloads heute kommunizieren, schließen Sie die Verbindungen, die sie nicht benötigen, und halten Sie Testumgebungen von der Produktion getrennt. Wenn du das machst, bleibt eine unerwartete Aktion ein abgeschlossenes Ereignis und kein offener Weg durch deine Umgebung.

Sehen Sie sich das On-Demand-Webinar "Post Mythos: Plan for the Inevitable Breach" an, um eine tiefere Diskussion darüber zu erhalten, wie Organisationen sich auf schnellere, weniger vorhersehbare Angriffe vorbereiten können, indem sie die Exposition begrenzen und die von Angreifern genutzten Pfade einschränken.

‍