Accenture-Manager zu OpenAI-Hack Hugging Face: Autonome Bedrohungen sind "nicht länger theoretisch"

Gezielte Marketingaktion oder war es tatsächlich eine Panne? Der autonome Angriff auf die Plattform Hugging Face durch Frontier-Modelle von OpenAI zeigt in jedem Fall eines: das massive Risiko, vor dem Sicherheitsexperten seit Langem warnen, ist real.

Unmittelbar nachdem OpenAI den unkontrollierten Ausbruch eines KI-Agenten einräumte, der eine Sicherheitslücke in der KI-Plattform von Hugging Face entdeckt und selbständig das System infiltriert hatte, spekulierten zahlreiche Nutzer auf Linkedin, ob der spektakuläre Sicherheitsvorfall nicht von OpenAI inszeniert worden sei. Dafür gibt es jedoch keine Anhaltspunkte. Jedenfalls steht der Vorfall für eine Art Zeitenwende in der IT-Security. Experten sprechen von einem historischen Weckruf für KI-Agenten-Sicherheit. In diese Richtung argumentiert Harpreet Sidhu, globaler Cybersecurity-Chef von Accenture gegenüber CRN. Er nennt den Vorfall einen "Wendepunkt" in der Debatte über potenzielle Risiken unzureichend kontrollierter KI und agentischer Technologien.

Der autonom ausgeführte Hack durch außer Kontrolle geratene Frontier-Modelle von OpenAI macht deutlich, welches enorme Risiko der Einsatz von KI ohne angemessene Sicherheits- und Governance-Maßnahmen birgt, erklärten auch Führungskräfte zweier führender Solution Provider im Gespräch mit CRN.

Nach Angaben von OpenAI ereignete sich der Vorfall während der Bewertung der Fähigkeiten der fortgeschrittenen Modelle. Einige Cyber-Beschränkungen der KI-Modelle seien zu Testzwecken bewusst reduziert worden. "Wir müssen uns damit auseinandersetzen, dass autonome Bedrohungsaktivitäten jetzt real sind. Sie sind nicht länger theoretisch", sagte Sidhu, der außerdem Managed Security Services beim in Dublin ansässigen Unternehmen Accenture leitet. "Was wir die ganze Zeit diskutiert haben, ist jetzt Realität."

[Mehr zum Thema: "Sagt man einem Agenten, er solle eine Aufgabe 'auf jede erdenkliche Weise' lösen, wird er das wörtlich nehmen"]

Vor allem diene der Vorfall als dringende Erinnerung daran, Sicherheits- und Governance-Kontrollen parallel zur Einführung von KI-Modellen und KI-Agenten umzusetzen, sagte er gegenüber CRN.

OpenAI: Reduzierung einiger Schutzmechanismen sei beabsichtigt gewesen

OpenAI erklärte in seinem Beitrag zu dem Vorfall, dass es sich bei den beiden beteiligten Modellen um GPT-5.6 Sol und ein noch nicht veröffentlichtes Modell handelte, das "noch leistungsfähiger" sei. Zwar sei die Reduzierung einiger Schutzmechanismen für die Modelle beabsichtigt gewesen. OpenAI räumte jedoch ein, dass die eigenen Sicherheitspraktiken – einschließlich Eindämmung und Überwachung – nicht dem Fähigkeitsniveau entsprachen, das getestet wurde.

Bemerkenswert sei, dass die Modelle "extreme Anstrengungen unternahmen, um ein vergleichsweise enges Testziel zu erreichen", erklärte OpenAI.

Die Realität sei, dass dieser Fall nicht unbedingt einen Fehler von KI-Agenten widerspiegele, sondern vielmehr dem entspreche, wofür sie entwickelt wurden, erklärten Führungskräfte gegenüber CRN. "Für sie zählt nur, eine Aufgabe zu erledigen – koste es, was es wolle", sagte Sidhu. So sehen das auch die TrendAI-Manager Richard Werne und Udo Schneider in ihren Kommentaren, die CRN vergangene Woche veröffentlichte.

Sidhu ordnet die Panne so ein: Der Vorfall sei ein "Ausrufezeichen" und stehe für die absolute Notwendigkeit von KI-Sicherheitsmaßnahmen wie Monitoring und Zugriffskontrollen.

Sicherere Testumgebungen erforderlich

Eine weitere wichtige Lehre sei, dass herkömmliche Sandbox-Testumgebungen möglicherweise nicht mehr das erforderliche Sicherheitsniveau bieten, wenn es um die Bewertung fortgeschrittener Frontier-Modelle geht, erklärte Sidhu.

Den Angaben von OpenAI zufolge nutzten die Modelle Schwachstellen aus, um die Beschränkungen der Testumgebung zu überwinden, verschafften sich anschließend Internetzugang und griffen schließlich auf Daten in den IT-Systemen von Hugging Face zu. Seine Schlussfolgerung: Unternehmen müssten beim Testen extrem leistungsfähiger KI-Systeme möglicherweise auf wirklich isolierte Umgebungen umsteigen. "Sie haben eine Sandbox geschaffen. Dieser Vorfall zeigt uns nun, dass eine Sandbox-Umgebung eigentlich nicht mehr ausreicht", sagte er. "Man braucht echte Air-Gaps, damit diese Agenten nicht überspringen können."

Das Testen fortgeschrittener Modelle bleibe selbstverständlich notwendig, sagte Sidhu. Allerdings sei Air-Gapping "inzwischen gewissermaßen nicht mehr optional – denn die Agenten werden versuchen, Schwachstellen zu finden, um zur nächsten Ebene zu springen, Zugriff zu erhalten und ihr jeweiliges Ziel zu erreichen", erklärte der Accenture-Manager. Dass das KI-System nicht versucht habe, etwas Bösartiges zu tun, mache den Vorfall sogar noch aufschlussreicher, sagte er.

"Extrem aufschlussreich und "beängstigend"

Ohne Zweifel veranlasse der Vorfall mehr Kunden dazu, zu hinterfragen, ob sie genügend Transparenz und Kontrolle über ihre KI-Modelle und Agenten haben, sagte Chris Cagnazzi, Chief Innovation Officer beim in New York ansässigen Unternehmen Presidio. "Solche Ereignisse bringen eine ganze Reihe von Kunden dazu zu sagen: 'Wir müssen jetzt etwas tun'", so Cagnazzi, der als Top-Führungskraft eines Dienstleisters freilich umgehend das Potenzial für sein Unternehmen erkennt: "Das schafft enorme Chancen."

Dies dürfte zu einer erheblichen Nachfrage nach Solution Providern führen, die dabei helfen könnten, Leitplanken einzuziehen, das Verhalten von KI zu überwachen, Zugriffe zu verwalten und festzulegen, wo menschliche Kontrolle weiterhin erforderlich bleibe, erklärte er.

Insgesamt sei es ganz außerordentlich bemerkenswert, dass selbst ein Unternehmen wie OpenAI – mit seiner nahezu beispiellosen KI-Expertise – während eines Tests nicht in der Lage gewesen sei, die eigenen Modelle perfekt zu kontrollieren, merkte Cagnazzi gegenüber CRN an. "Man muss sich vor Augen führen, wie viele Ressourcen sie haben, die KI-Systeme verstehen – im Vergleich zu einem Kunden", sagte er. "Das ist extrem aufschlussreich. Aber es ist auch extrem beängstigend."

Der Artikel erschien zuerst bei unserer Schwesterpublikation crn.com.

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden