OpenAI räumt Angriff auf Hugging Face ein

Eine Woche nach dem Angriff auf die KI-Plattform Hugging Face ist nun klar, wer dahintersteckt: OpenAI übernimmt die Verantwortung und erklärt, dass zwei neue KI-Modelle bei Sicherheitstests autonom aus ihrer Sandbox ausgebrochen sind und den Angriff durchgeführt haben.

Der Fall des Cyberangriffs auf Hugging Face gewinnt weitere Brisanz. Nachdem KI-Agenten die offene Plattform für KI-Modelle in der vergangenen Woche autonom über eine Supply-Chain-Lücke attackiert und sich per Schadcodeeinschleusung Zugriff auf interne Datensätze und Zugangsinformationen verschafft hatten, haben sich nun die Angreifer, oder vielmehr ihre Schöpfer, zu erkennen gegeben: Es waren demnach keine von Hackern ausgesendeten KI-Schergen, sondern ausgerechnet einige neue Modelle des KI-Giganten OpenAI, der seine Verantwortung für den Angriff nun einräumte.

Wie das Unternehmen in einem Blogbeitrag mitteilt, lag der Ursprung des Angriffs ausgerechnet in einem Sicherheitstest mit GPT 5.6-Sol sowie einem weiteren, noch in der Entwicklung befindlichen Modell, die bei KI-Sicherheits-Benchmarks wie ExploitGym ihre Fähigkeiten bei der Schwachstellenanalyse beweisen sollten. Dabei haben sich die für den Test nur mit eingeschränkten Sicherheitsschranken agierenden Modelle laut OpenAI zunächst unter Einsatz großer Rechenleistung eine Zero-Day-Schwachstelle in einer Drittanbieterkomponente ausgemacht, über die sie sich erweiterte Rechte verschaffen konnten, um aus ihrer Sandbox auszubrechen und sich über ein Gerät in der Entwicklungsumgebung Zugang zum Internet zu verschaffen.

Anschließend nahmen sich die Ausbrecher gezielt Hugging Face als Opfer vor und nutzten dabei offenbar parallel mehrere Angriffspfade wie eine Zero-Day-Schwachstelle und kompromittierte Zugangsdaten. Darüber erlangten sie laut Hugging Face die Möglichkeit, über einen manipulierten Datensatz Schadcode einzuschleusen, um sich im System auszubreiten, Server zu manipulieren und unautorisierten Zugriff auf verschiedene Systembereiche und interne Informationen wie Zugangsdaten zu erlangen.

Gezielter Schummelversuch der KI führt zum Angriff

Auch wenn die Tatsache, dass der Angriff nicht von Cyberkriminellen angestoßen wurde, zunächst für ein Aufatmen bei den Betroffenen und vielen anderen in der IT-Branche sorgt, ist der Fall alles andere als beruhigend. Allzu deutlich zeigt er erneut auf, zu welchen Angriffen moderne KI-Modelle fähig und welche Risiken damit verbunden sind. In den falschen Händen sind sie ein gefährliches Schwert, während die Eingrenzungen, die das verhindern sollen, zugleich die Verteidiger behindern können. So ließen die Modelle Hugging Face den Angriff zunächst nicht analysieren, erst durch ein lokal eingesetztes Modell konnten relevante Informationen zum Angriffsverlauf gefunden werden. Das schmälert OpenAIs Versprechen, die Sicherheitsleitplanken als Reaktion auf den Vorfall weiter zu verstärken und verbessern.

Ähnliches gilt für die Beteuerung, auch die Sicherheitsvorkehrungen bei entsprechenden Tests zu verschärfen. Immerhin wählten die KI-Modelle ihr Ziel wohl nicht zuletzt, weil sie dort Informationen vermuteten, mit denen sie ihre Benchmark-Ergebnisse verbessern könnten – und schraubten sie dabei mit genau diesem Angriff nach oben. "Die Modelle identifizierten und verknüpften Schwachstellen in der Forschungsumgebung von OpenAI und der Produktionsinfrastruktur von Hugging Face, um Testlösungen direkt aus der Produktionsdatenbank von Hugging Face zu gewinnen", erklärt OpenAI. "Alle Anzeichen deuten darauf hin, dass sich die Modelle extrem stark auf die Suche nach einer Lösung für ExploitGym konzentrierten und dabei bis zum Äußersten gingen, um ein eher eng gefasstes Testziel zu erreichen."

Zudem ist noch nicht sicher, ob die Kompromittierung und der Datenabfluss bereits das gesamte Ausmaß des Angriffs sind. Besonders gefährlich könnte es etwa werden, sollten die Einbrecher, ganz im Sinne ihrer Test-Mission, öffentliche Inhalte KI-Modelle oder Datensätze kompromittiert haben. Zwar gibt es darauf bisher noch keinen Hinweis, allerdings ist das weder gesichert, noch ein Garant, dass ähnliches nicht in Zukunft passieren könnte.

Wenigstens konnten im Nachgang nun die bei der Forensik entdeckten Zero-Day- und anderen Schwachstellen in Zusammenarbeit mit den betroffenen Herstellern geschlossen werden. Zudem will es OpenAI Hugging Face durch die Integration in sein "Trusted Access"-Programm ermöglichen, sich künftig besser vor ähnlichen Angriffen zu schützen. Dennoch räumt OpenAI ein, der Vorfall mache "deutlich, dass hochentwickelte Modelle neue Angriffswege in realen Systemen aufdecken und ausnutzen können, ohne Zugriff auf den Quellcode zu haben. Er unterstreicht, dass hochentwickelte Cyberfähigkeiten Hand in Hand mit stärkeren Schutzmaßnahmen und Abwehrinstrumenten entwickelt werden müssen."

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden