Warum abtrünnige KI-Agenten ein Weckruf für Sicherheitsteams sind

Menschen fliegen zum Mond und kommen wieder sicher zur Erde. Aber OpenAI und Anthropic schaffen es nicht ihre Agenten unter Kontrolle zu halten – und warnen vor dem Weltuntergang. Warum gibt es keine Notabschaltung? CRN fragte führende Vertreter von Lösungsanbietern und Herstellern, wie Kontrolle und Sicherheit bei den neuen agentischen Technologien aussehen müssten.

Da selbst die weltweit fortschrittlichsten KI-Plattformen Schwierigkeiten haben, ihre eigenen Agenten unter Kontrolle zu halten, sollten Cybersicherheitsteams die Gefahren unkontrollierbarer KI als klares Signal verstehen, die Governance neuer agentischer Technologien deutlich bewusster anzugehen. Auch wenn die von OpenAI und Anthropic offengelegten Fälle abtrünniger KI-Agenten nicht ohne Weiteres auf Unternehmen übertragbar sind, die keine hochentwickelten KI-Cybermodelle testen, liefern die Vorfälle dennoch zahlreiche Erkenntnisse, die sowohl der Branche als auch dem Channel als Warnung dienen sollten, betonten zahlreiche Führungskräfte, mit den CRN sprach.

Das Fazit: Unternehmen können nicht länger davon ausgehen, dass die integrierten Schutzmaßnahmen eines KI-Anbieters ihre Anforderungen an Sicherheit und Governance erfüllen - insbesondere bei der Kontrolle sensibler Daten und Zugriffsberechtigungen.

"Wir können nicht unbedingt erwarten, dass sie sich selbst so kontrollieren, wie es jede Organisation wünscht", sagte Victor Wieczorek, Senior Vice President für Offensive Security beim US-Lösungsanbieter GuidePoint Security (Nummer 32 der CRN-Liste Solution Provider 500 2026). "Jede Organisation wird eine andere Risikotoleranz haben."

Wenn KI-Plattformanbieter mit hochentwickelten Sicherheitsteams immer wieder erleben, dass Agenten vorgesehene Kontrollen und Grenzen überschreiten, was bedeutet das für die große Mehrheit der Unternehmen, die Agenten einsetzen, aber keine Fachkräfte für IT-Security beschäftigen können.

[Lesetipp: Im Rahmen der Security Week bei CRN veröffentlichen wir ausgewählte Themen rund IT-Sicherheit]

Spätestens die Vorfälle bei OpenAI und Anthropic sollten als Beleg dafür verstanden werden, welche große neue Herausforderung auf Unternehmen zukommt: nämlich vorbereitet zu sein auf möglicherweise ähnliche Gefahren, die von unkontrollierbarer KI ausgehen könne, meint Kristin Lowery, Field CISO beim US-Lösungsanbieter Optiv (Platz 29 auf der CRN-Liste Solution Provider 500).

"Ich sage derzeit vielen meiner Kunden, dass dieses Verhalten abtrünniger Agenten, das wir aktuell in gemeldeten Vorfällen sehen, kein einmaliger Fehler sei", so Lowery. "Das ist ein wiederkehrendes Risikomuster."

Solche Fragen sind dringlich geworden, nachdem Ende Juli die autonome Kompromittierung der KI-Modellplattform Hugging Face durch abtrünnige hochentwickelte OpenAI-Modelle bekannt wurde. Weitere Offenlegungen beschrieben ähnliche Vorfälle mit Anthropics Claude Mythos sowie mit Modellen von Meta und Google.

Schutzmaßnahmen teils absichtlich reduziert

Bei vielen Vorfällen wurde festgestellt, dass sich die KI-Agenten über die ursprünglich für Cybersicherheitstests vorgesehenen Umgebungen oder Aktivitäten hinausbewegten. Beim Vorfall mit Hugging Face etwa umgingen OpenAI-Modelle Kontrollen, um aus einer isolierten Testumgebung auszubrechen und das Internet zu erreichen, bevor sie schließlich Teile der Systeme von Hugging Face kompromittierten.

Zu weiteren beunruhigenden Vorfällen gehörten Erkenntnisse, wonach abtrünnige hochentwickelte KI-Agenten versucht hatten, reale Menschen durch Social Engineering zu beeinflussen, ohne dazu aufgefordert worden zu sein. Tatsächlich betrafen die Untersuchungen, die zu diesen Vorfällen führten, Situationen und Bedingungen, die sich stark von denen unterscheiden, unter denen die meisten Unternehmen Agenten einsetzen, so Experten. Teilweise waren Schutzmaßnahmen absichtlich reduziert worden.

Gleichzeitig unterstreichen die Vorfälle, dass jedes Unternehmen eigenen Risiken ausgesetzt ist, wenn bei agentischen Implementierungen Governance und Sicherheitskontrollen fehlen, sagen die Experten gegenüber CRN.

Letztlich gilt bei äußerst leistungsfähigen KI-Agenten, die autonom handeln können: "Man braucht Transparenz. Man muss wissen, was sie tun", so Wieczorek von GuidePoint. "Man muss sie begrenzen, kontrollieren und zurückholen können, wenn sie beginnen, von ihrem vorgesehenen Weg abzuweichen."

Solides Fundament

Für die meisten Unternehmen liegt der Schlüssel darin, als Ausgangspunkt für den Betrieb von Agenten ein solides Fundament zu schaffen, sagt Rocky Giglio, Gründer und CEO des in Columbia/South Carolina ansässigen Unternehmens Cloud Security Pros.

Der Lösungs- und Serviceanbieter hat ein Angebot entwickelt, das Kunden beim Aufbau dieses Fundaments unterstützt - mit Funktionen zur Erkennung von Agenten, zur Konfiguration von Identitäten und zur Erfassung von Aktivitätsprotokollen.

"Wissen Sie, welche Agenten aktiv sind? Wenn die Agenten laufen: protokollieren sie so, wie sie sollten? Werden diese Protokolle erfasst? Sind diese aditierbar? Wer hat Berechtigungen? Welche Berechtigungen nutzt der Agent?", zählt Giglio Fragen auf, die geklärt sein müssen.

Auf die Frage, was Unternehmen tun müssten, sagt er: "Die Antwort ist fast zu einfach, aber gute Sicherheitspraxis. Es gibt neue Aspekte, über die man nachdenken und für die man Kontrollen aufbauen muss, damit sie beherrschbar bleiben."

Insgesamt gelte: "Gute Sicherheitspraxis gilt weiterhin auch beim Aufbau von Agenten", so Security-Experte Giglio. "Aber denken Sie an das Fundament, auf dem diese Agenten laufen."

Der blinde Fleck: 'Was man nicht sieht, kann man nicht steuern'

Derzeit haben viele Unternehmen noch erhebliche Arbeit vor sich, um dieses Maß an Kontrolle zu erreichen, sagt Fred Rica, Managing Principal für den Cyberbereich beim in Chicago ansässigen Lösungsanbieter BDO USA.

Wegen des rasanten Entwicklungstempos agentischer Technologien "hinken Leitplanken und Kontrollen noch hinterher", sagte Rica. "Deshalb verbringen wir viel Zeit damit, Kunden zu helfen, darüber nachzudenken, wie ihre KI-Landschaft tatsächlich aussieht, welche Kontrolle wir darüber haben und was wir tun müssen, um sie in den Griff zu bekommen."

Viele Unternehmen "verfügen in Wirklichkeit noch immer nicht über Kontrollebenen für ihre Agenten", merkt er an. Warum? Weil sie einem Irrglauben aufsitzen, den Rica so beschreibt: 'Was man nicht sieht, kann man nicht steuern'. Manager Lowery von Optiv bezeichnet dieses offensichtliche Transparenzproblem bei KI-Agenten als die "größte Lücke" in den Branchen. "Viele Organisationen haben schlicht kein verlässliches Inventar darüber, wo Agenten tätig sind", beobachtet er. Dazu gehöre, "welche Identitäten die KI-Agenten haben, auf welche Daten sie zugreifen können und welche Aktionen sie ausführen dürfen".

"Agenten-Chaos" vermeiden!

Dieser Bedarf an Transparenz ist besonders dringlich, weil Unternehmen den Einsatz von Agenten ausweiten, ohne immer eindeutig zu klären, wer für sie verantwortlich ist, sagt Pez Nikpour, Senior Director für Cyber Strategy beim in Seattle ansässigen Unternehmen Slalom (Nummer 33 der CRN-Liste Solution Provider 500). "Wenn etwas schiefgeht, wo kann ich zurückverfolgen? Wen kann ich zur Verantwortung ziehen?", stellt Nikpour naheliegende Fragen, die oft unberücksichtigt bleiben

Erkennung und Verantwortlichkeit müssten deshalb Teil der Governance-Diskussion sein, sagt er. Ebenso sei es entscheidend, den vorgesehenen Zweck eines Agenten zu verstehen und zu prüfen, ob seine Handlungen diesem Zweck entsprechen, um "Agenten-Chaos" zu vermeiden.

Bei Slalom wenden sich Kunden mit Fragen an das Unternehmen, die durch prominente Fälle unbeabsichtigter Handlungen von KI-Agenten ausgelöst wurden. Zugleich bitten diese Kunden proaktiv um Unterstützung, damit ihre KI Produktivitätssteigerungen erzielt, sagt Nikpours Kollege Paul Pinto, Director für IAM Capability bei Slalom.

Im Rahmen der sicheren Einführung von Agenten untersucht sein Team, welche Identitäten KI-Systeme verwenden und woher Zugriffe erfolgen. Außerdem wird geprüft, wie Systeme auf Daten zugreifen und ob der Kunde über die erforderliche Data Governance verfügt, so Pinto.

Zu schnelles Vorgehen

Ein großes Problem besteht darin, dass viele Unternehmen ebenso wie einzelne Beschäftigte KI-Agenten zu schnell für mehr Produktivität und Effizienz einführen, ohne diese Aspekte zu berücksichtigen, sind die Vertreter von Herstellern einig, mit denen CRN im Rahmen der Security Week diese Woche gesprochen hat.

"Es besteht kein Zweifel daran, dass die Kontrollen dem Bewusstsein hinterherhinken", sagt Aviv Nahum, Mitgründer und CEO des in Tel Aviv ansässigen Anbieters der Insider-Risk-Plattform Above Security. "Ich denke, das Bewusstsein wächst definitiv. Das Betriebsmodell steht aber noch nicht. Wir sehen, wie Unternehmen sehr schnell vom Experimentieren mit Agenten dazu übergehen, ihnen tatsächlich Zugriff auf Unternehmenssysteme zu geben und Handlungen zu erlauben. Die Sicherheitsdebatte holt erst auf."

Das Problem sei jedoch, dass "Bewusstsein und Kontrolle zwei verschiedene Dinge sind", so Nahum. Ohne Frage müsse die Kontrolle darüber, womit sich ein Agent verbinden kann, in vielen Unternehmen mehr Aufmerksamkeit erhalten, fordert Jody Brazil, Gründer und CEO des in Lenexa/Kansas, ansässigen Anbieters für die Steuerung von Netzwerksicherheitsrichtlinien FireMon.

Eine Netzwerksegmentierung kann beispielsweise die Systeme begrenzen, die ein Agent erreichen kann. Ihre Wirksamkeit hängt jedoch von den Zugriffsrichtlinien ab, die das Unternehmen umgesetzt hat, so Brazil. Mit anderen Worten: Das bloße Vorhandensein einer Firewall oder einer anderen Durchsetzungstechnologie allein reicht nicht aus. "Worauf Agenten zugreifen dürfen, wird zum zentralen Baustein ihrer Isolierung in einer Sandbox", sagt er.

Beim Vorfall mit Hugging Face habe die Herausforderung darin bestanden, dass die Agenten aus einer Sandbox ausgebrochen sind, sagt Brazil. "Nun, die Sandbox war völlig wirkungslos, wenn keine Netzwerkkontrollen vorhanden waren, die ihren Zugriff und ihre zulässigen Ziele begrenzten."

Auch das Testen selbst erfordert fortlaufende Aufmerksamkeit menschlicher Teams, die Sicherheitskontrollen und Aufsicht gewährleisten, sagt Galina Antova, Mitgründerin und CEO des in San Francisco ansässigen Anbieters der autonomen Verteidigungsplattform Kai. Beim Vorfall mit Hugging Face "wurden die KI-Agenten unbeaufsichtigt gelassen, weil sie evaluiert wurden", sagt Antova. "Bei Tests dürfen wir niemals auf sämtliche Sicherheitsleitplanken und Prozesse verzichten."

"Notabschaltung"

Die Gefahr, die von Agenten ausgeht, liege zweifellos darin, dass sich ein KI-Agent tausendfach schneller bewegen könne als ein menschlicher Angreifer, merkt Mark McClain an, Gründer und CEO des in Austin/ Texas ansässigen Identitätssicherheitsanbieters SailPoint. Die Folgen für Verteidiger sind enorm. Sie müssen erkennen, dass die Überwachung von Agenten und ihrer Aktivitäten nur bis zu einem gewissen Punkt möglich sei, so McClain. Entscheidend sei, dass sich viele Organisationen darauf vorbereiten müssen, schnell einzugreifen, wenn diese Kontrollen nicht ausreichen.

Unternehmen müssen zweifellos eine Möglichkeit haben, unerwünschte Aktivitäten zu stoppen, sobald sie erkannt werden, sagt Sanjay Beri, Mitgründer und CEO des in Santa Clara/Kalifornien ansässigen Cloud- und Datensicherheitsanbieters Netskope.

Der erste Schritt für Partner und Kunden bestehe darin, nicht genehmigte oder riskante Werkzeuge zu identifizieren. Danach müssten Kontrollen eingeführt werden - darunter etwas wie ein "Notabschaltung", die das System im Gefahrenfall zum Stillstand bringe, so Beri. Das müsse in Echtzeit geschehen, innerhalb von Millisekunden."

Ein Notausschalter für KI könne verschiedene Formen annehmen, sagt er. Entzug der Identität eines Agenten beispielsweise, oder das Stoppen seiner Aktivität auf Endpunkt- oder Netzwerkebene. "Entscheidend ist, abtrünnige Agenten in Echtzeit erkennen, entfernen und stoppen zu können", so der Manager.

Sicherheit im gleichen Maßstab wie Agenten agieren

Damit Lösungsanbieter alle Bausteine zum Schutz eines Kunden vor abtrünnigem agentischem Verhalten zusammenführen können, müssen sie zunächst verstehen, was das Unternehmen mit Agenten erreichen will und was in der spezifischen Kundenumgebung schiefgehen könnte, sagten Vertreter von Lösungsanbietern.

Eine unabhängige Bewertung durch einen Lösungsanbieter kann besonders wertvoll sein, um eine agentische Implementierung zu beurteilen und Annahmen der verschiedenen beteiligten Parteien beim Kunden zu hinterfragen, stellt Wieczorek von GuidePoint klar. Bei der Bewertung von Agenten sei wie bei vielen anderen Aspekten eines Unternehmens "die Perspektive eines Außenstehenden entscheidend", sagt er.

Wenn es um die Möglichkeit gehe, dass KI-Agenten ihr vorgesehenes Verhalten überschreiten, gelte letztlich: "Die gute Nachricht ist, dass wir wissen, wie sich viele dieser Probleme lösen lassen", so Wieczorek. "Das sind dieselben Arten von Insider-Problemen, über die wir alle seit Jahrzehnten sprechen. Neu sind lediglich die bei KI beispiellose Geschwindigkeit und die Größenordnung."

Der Artikel erschien im Rahmen der "CRN Security Week" diese Woche zuerst bei unserer Schwesterpublikation crn.com und wurde von CRN Deutschland bearbeitet.

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden