OpenAI-Panne: "Sagt man einem Agenten, er solle eine Aufgabe 'auf jede erdenkliche Weise' lösen, wird er das wörtlich nehmen"

Ein KI-Agent bricht aus einer vermeintlich sicheren Testumgebung aus und macht sich selbständig. Der Supergau macht Schlagzeilen. Aber worum geht im Kern der OpenAI-Panne wirklich? Zwei Security-Experten von TrendAI ordnen die Causa ein - jenseits des jetzt dominierenden Narrativs der "eigenmächtig handelnden KI".

OpenAI hat Details zu dem Sicherheitsvorfall bestätigt, den das Unternehmen in der vergangenen Woche im Zusammenhang mit Hugging Face gemeldet hatte. Und spricht von einem "beispiellosen Cybervorfall". Der Vorfall sorgt für mediales Aufsehen: Die Tagesschau berichtete am Mittwoch in den 20-Uhr-Nachrichten und stellt die Frage, ob eine "neue Gefahr" drohe. CRN berichtete am Mittwoch.

Die IT-Sicherheitsbranche zeigt sich dagegen wenig überrascht, denn spätestens seit dem "Projekt" OpenClaw des österreichischen KI-Entwicklers Peter Steinberger Anfang dieses Jahren waren Experten gewarnt vor den Gefahren eines außer Kontrolle agierenden Agents. Doch bis in die Tagesschau schaffte es dieser potentielle "Enterprise-Alptraum" damals nicht. Nun ist er da und die Aufregung groß.

Experten des japanischen IT-Security-Anbieters Trend AI lassen es in ihren Einschätzungen an Deutlichkeit nicht fehlen. Ihre Analyse beschreibt nicht nur die technische Logik künstlicher Intelligenz. Sie heben vor allem die Verantwortung hervor, aus der sich kein Anbieter von KI-Agents stehen kann, wenn ein Experiment aus dem Ruder läuft.

Der aktuelle Vorfall zeige vielmehr erstmals unter realistischen Bedingungen, welche Risiken entstehen können, wenn autonome KI-Agenten mit weitreichenden Systemrechten arbeiten. Nicht ein externer Angreifer, sondern ein interner Benchmark-Test, so TrendAI, führte zu über 17.000 autonomen Aktionen, der Ausnutzung einer Zero-Day-Schwachstelle und einem Zugriff auf Produktivsysteme. "Für Unternehmen, die agentenbasierte KI einsetzen oder planen, rückt damit weniger die Leistungsfähigkeit der Modelle in den Mittelpunkt als vielmehr die Absicherung ihrer Einsatzumgebung".

Richard Werner, Cybersecurity Platform Lead Europe bei TrendAI: "Ihre Waffe, Ihr Testgelände, Ihr Versagen."

"Das Narrativ der 'eigenmächtig handelnden KI' ist effizient darin, Verantwortung abzuwälzen. Was tatsächlich passiert ist: OpenAI hat einen Agenten gebaut, der zu autonomen Cyber-Operationen fähig ist, ihn in einer vermeintlich kontrollierten Umgebung getestet und diese Eindämmung ist gescheitert. Der Agent ist ausgebrochen, hat Zugangsdaten gestohlen, eine unbekannte Schwachstelle gefunden und ist in die Systeme von Hugging Face eingedrungen.

Niemand hat ihm befohlen, gezielt Hugging Face anzugreifen, aber darum geht es nicht! OpenAI hat sich entschieden, diese Fähigkeit zu bauen, hat die Testbedingungen festgelegt, hat das Sandboxing definiert, das letztlich nicht gehalten hat. Von 'beispiellos' und 'eigenmächtigem Handeln' zu sprechen, beschreibt den Mechanismus, nicht aber die Verantwortung. Es ist, als würden Sie eine autonome Waffe bauen, diese auf einem vermeintlich sicheren Testgelände erproben, sie außer Kontrolle geraten und jemanden treffen lassen – und der Welt anschließend erklären, 'die Waffe hat eigenständig gehandelt'. Technisch korrekt - trotzdem: Ihre Waffe, Ihr Testgelände, Ihr Versagen."

Warum technische Sicherheitsmechanismen und Richtlinien für künstliche Intelligenz allein das Problem nicht lösen

Dazu Udo Schneider, Governance, Risk & Compliance Lead Europe bei TrendAI:

Sagt man einem Agenten, er solle eine Aufgabe 'auf jede erdenkliche Weise' lösen, wird er das wörtlich nehmen. Mit ausreichend Autonomie und Zeit wird er in Infrastruktur vordringen, die er nie hätte berühren sollen: alte Passwörter, verwaiste Zugangsdaten, vergessene API-Keys. Nicht, weil man es ihm gesagt hat, sondern weil er im Streben nach dem vorgegebenen Ziel schlicht alles Verfügbare ausprobiert hat. Sprache öffnet diese Tür standardmäßig.

Die beiden naheliegenden Lösungsansätze greifen jeweils nur teilweise: Human-in-the-Loop-Kontrolle funktioniert, skaliert aber nicht für die langlaufenden, komplexen Workflows, in denen genau solche Vorfälle entstehen. Engere Guardrails im Modell oder in den Prompts helfen, garantieren aber nichts: Es handelt sich um probabilistische, keine deterministischen Systeme. Ein Guardrail ist eine starke Wahrscheinlichkeitsannahme, keine Mauer.

Deshalb zählen die unspektakulären, nicht-KI-spezifischen Kontrollen mehr als die KI selbst: Zugriffsfilterung, Kontrolle darüber, was überhaupt als Input beim Modell ankommt, Sandboxes, die tatsächlich halten, und Berechtigungskonzepte nach dem Prinzip der geringsten Rechte (Least-Privilege-Prinzip). Vor allem: Ein Agent sollte niemals einfach als 'der Nutzer' laufen und dabei sämtliche Zugangsdaten und Berechtigungen erben. Er sollte als er selbst laufen – beschränkt auf genau das, was die Aufgabe erfordert".

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden