Drei KI-Angriffe, ein Denkfehler

Nach OpenAI und Anthropic musste jetzt auch Meta einräumen, dass eines seiner KI-Modelle ausgebrochen ist und ein fremdes Unternehmen gehackt hat. Aus dem groben Versagen der drei Hersteller bei der Überwachung ihrer Modelle in der Testumgebung lässt sich auch einiges für die Absicherung normaler IT-Umgebungen im KI-Zeitalter lernen.

Die letzten Tage muten aus Security-Sicht ein wenig an, wie ein Dominospiel der marodierenden KI-Modelle. Zuerst musste OpenAI zerknirscht einräumen, dass zwei seiner Modelle hinter dem Angriff auf Hugging Face stecken, kurz darauf gestand auch Anthropic gesenkten Hauptes einen ähnlichen Vorfall ein. Wer da noch an einen dummen Zufall glaubte, muss spätestens jetzt umdenken. Denn mit Meta gibt es nun einen Dritten im Bunde der bedröppelten Hersteller, deren munter draufloshackende KI-Modelle für reichlich negative Aufmerksamkeit und Diskussionsbedarf sorgen. Damit ist nun klar, dass dies keine Ausnahmen sind, sondern wohl eher der Testlauf für den künftigen Regelfall, auf den es sich einzustellen gilt.

Angesichts dieser Erkenntnis richten Sicherheitsexperten nun ein großes Augenmerk auf die Untersuchung der unmittelbaren Bedingungen bei den drei Vorfällen. Dabei geht es zunächst darum herauszufinden, warum die Modelle ausgebrochen und andernorts eingebrochen sind. "Niemand hat diesen Modellen befohlen, jemanden anzugreifen. Sie lösten eine Testaufgabe und gelangten zu echten Unternehmen, auf die sie niemand hingewiesen hatte" fasst Jonathan Zanger, CTO bei Check Point Software, zusammen. Im Grunde waren die Angriffe nur Nebenprodukte im Streben der Modelle nach einer möglichst optimalen Erfüllung ihrer eigentlichen Test-Aufgabe. "Ein autonomer Angreifer nutzt das, was er zuerst findet. Das ist zielgerichtetes Handeln in der Praxis", erklärt Zanger. "Die Modelle betrachteten den Test als Freibrief, alles zu erreichen, was sie konnten – über reale Infrastrukturen hinweg, auf die sie nie ausgerichtet worden waren."

Schwache Käfige für starke Modelle

Zumindest die Hersteller sollte dieses Verhalten ihrer Modelle also eigentlich nicht überraschen, zumal sie in den Tests weitgehend von Sicherheitsmechanismen befreit operieren. Umso mehr stellt sich die nächste Frage, wie die Modelle überhaupt aus ihren Sandboxen ausbrechen konnten. Es scheint offensichtlich, dass es hier jeweils einige Versäumnisse und Fehler und wohl auch Fehleinschätzungen hinsichtlich der ergriffenen Maßnahmen zur Einhegung gab. "Es zeugt von großer Nachlässigkeit, dass Unternehmen, die solche Tests durchführen, keine ausreichend robusten Kontrollmechanismen implementieren, was zu Angriffen auf andere Parteien geführt hat", kommentiert das Andy Smith, seines Zeichens Certified Instructor beim SANS Institute.

Neben diesen lückenhaften Käfigen stellt sich dem geneigten Beobachter zudem die Frage, warum die Ausbrüche erst so spät bemerkt wurden – zum Teil sogar erst mehrere Tage nachdem die Opfer die Angriffe gemeldet hatten. Ein interessanter Aspekt hierbei ist, dass es trotz aller bei den KI-Herstellern vorhandenen Spitzentechnologien mit vermeintlich großen Erkennungsfähigkeiten jeweils erst menschlicher Erfahrung und Beobachtung bedurfte, um darauf zu kommen, dass hier etwas nicht stimmt und aus dem Ruder beziehungsweise der Sandbox läuft, und anschließend auch die Verbindung zwischen dem eigenen Modell und den Angriffen herzustellen.

Tarnen und täuschen: Wenn die KI-Abwehr den Angriff verschläft

Die eigene Detektion hat trotz aller KI-Unterstützung und ihrer Raffinesse also offensichtlich nicht auffälliges am Verhalten der im Ausbruch befindlichen Modelle gefunden. Und das, obwohl sie sich Großteiles auf bekannten Wegen und Mustern vorarbeiteten. "Hin und wieder ein bis dahin unbekannter Zero Day, gestohlene Anmeldedaten und überall bereits zuvor geöffnete Türen", führt Zanger auf und konstatiert: "In beiden Laboren war der exotische Exploit die Ausnahme und die offene Tür die Regel." Selbst die KI-Hersteller haben also offensichtlich noch ihre Mühe damit, KI-Ausbrüche und -Angriffe schnell und zuverlässig zu erkennen.

Hier waren die Opfer schneller. Obwohl es auch bei ihnen etwas dauerte und sie teils erhebliche Schwierigkeiten hatten, die Angriffe zu erkennen und darauf zu reagieren, gelang es ihnen. Die Basis dafür war eine Kooperation von Mensch und Maschine. Ohne KI wäre es den Experten nicht möglich gewesen, die mehr als 17.000 beim Angriff auf Hugging Face registrierten einzelnen Aktionen so schnell zu finden und analysieren. Allerdings konnten sie in der Forensik zunächst nur die eingeschränkten Modelle nutzen. Auch deshalb hatte die KI Schwierigkeiten, die Attacken ohne den Menschen richtig zu erkennen und einzuschätzen. "Die Verteidigung arbeitete mit einer auf dem Rücken festgebundenen Hand", beschreibt Zanger die verzwickte Situation.

Die Erkennung muss sich der neuen Realität anpassen

Diese beiden Beobachtungen deuten darauf hin, dass die menschliche Awareness bei diesen Angriffen nicht das große Problem war. Ganz im Gegenteil scheinen die Sicherheitsverantwortlichen, wie wohl die meisten ihrer Kollegen, aufgrund der allgemeinen Entwicklung in Richtung stärker von KI gestützten oder gar dominierten Angriffen sowie der aktuellen Vorfälle und Berichterstattung gut sensibilisiert gewesen zu sein. Anders sieht es bei der digitalen Awareness und ihrer Einschätzung aus. Abseits der von KI genutzten einzelnen Schwachstellen besteht die große und alle drei Angriffe verbindende Lücke aus Sicht des SANS Institute darin, "dass die meisten Teams ihre eigenen Umgebungen noch nie im Hinblick auf das tatsächliche Verhalten dieser Angriffe überprüft haben".

Das wäre aus Sicht der Experten allerdings dringend nötig, da es so manche Gewissheit in Frage stellt und neue Ansätze und Strategien erfordert. "Dieses Verhalten widerlegt viele der Annahmen, auf denen Detection-Programme basieren", mahnt das SANS Institute. Auch für Check-Point-CTO Zanger ist das etwas, "was die Anforderungen an die IT-Sicherheit grundlegend verändert". So können Sicherheitsverantwortliche aufgrund dieser Entwicklungen etwa "nicht länger davon ausgehen, dass ein Agent innerhalb der Testumgebung bleibt und den Task verfolgt, der ihm übertragen wurde". Stattdessen müssten sie davon ausgehen, "dass er diese Aufgabe über alles hinweg verfolgen wird, was er tatsächlich erreichen kann".

Das kann also im schlimmsten Fall dazu führen, dass unbeabsichtigt ein Angriff gefahren, Daten falsch behandelt, Code kompromittiert oder ähnlicher Schaden angerichtet wird. Deshalb sehen die Experten eine der unbedingt notwendigen Änderungen darin, dass Unternehmensverantwortlichen unmissverständlich verdeutlicht wird, dass das in ihren Verantwortungsbereich fällt. Denn der Modellanbieter steht lediglich für das Modell und die dahinterliegende Infrastruktur selbst in der Pflicht. Hinter dieser Grenze übernehmen die Betreiber und Nutzer die Kontrolle und Verantwortung für Faktoren wie die Daten, Tools und die Identitäten im Zugriffsbereich des Modells. Dort sind die modelleigenen "Sicherheitsfilter als Mittel zur Verringerung von Missbrauch betrachten, jedoch niemals als Kontrollmechanismus", warnt Zanger.

Die eigenen Prozesse definieren außergewöhnliches Verhalten

Eine wichtige Voraussetzung für diese Absicherung ist ein besseres Verständnis für die eigenen Prozesse. Nur wer detailliert weiß, wie sich seine Automatisierung im Regelfall verhält, kann Abweichungen davon durch eigenes Irrlaufen oder fremdes Einwirken schnell und zuverlässig erkennen. Das gilt sowohl für die menschlichen Teams, als auch ihre KI-Helfer. Im digitalen Bereich wird das durch eine bessere Verknüpfung der Ereignisketten zusätzlich verstärkt. Den Fachleuten zufolge hätte die große Mehrzahl der von OpenAIs Modellen bei Hugging Face gestarteten Aktionen einzeln keine kritische Bewertung und damit keinen Alarm ausgelöst. Zusätzlich zu solch einer breiter angelegten Schweregradlogik können einfache Bausteine wie Canary-Token als Signal-Fallen dabei helfen, allzu ungestüm vorstürmende KI-Angriffe schneller zu entdecken.

Dass selbst die KI-Hersteller hier teils überfordert sind, unterstreicht, dass solche Aufgaben für die meisten KMU im Alleingang nicht zu bewältigen sind. Einerseits geht es darum, die eigenen Agenten effektiv einzuhegen und durch stetige Validierung und Kontrolle vor Gefahren wie Prompt-Injektion, Datenverlust oder der selbsttätigen Ausweitung ihrer Handlungsräume zu schützen. Allerdings ist die Lösung allein dabei nur die halbe Miete. "Auch der Rest des Stacks spielt eine Rolle", betont der Check-Point-Spezialist und führt als Beispiel an: "Die eigenen Agenten benötigen Identitäten, das Prinzip der geringsten Berechtigungen, Segmentierungen und das Zero Trust-Prinzip auf die Agenten selbst erweitert."

Fazit

Zusammenfassend lässt sich also sagen, dass mit den autonomen Angriffen der KI eine neue Stufe erreicht ist. Die Vorfälle unterstreichen, welche Fähigkeiten die KI mitbringt und wie sehr sie damit die technischen Hürden für Angreifer senkt. Waren hochkomplexe vielstufige Angriffe bislang Spezialisten vorbehalten und damit auf wenige Einzelfälle beschränkt, entwickeln sie sich durch diese Hilfestellungen der KI nun in Richtung eines neuen Angriffs-Alltags. "Die Frage ist nicht mehr, ob ein autonomer Agent ein Netzwerk angreifen wird. Die Frage ist, ob die Verteidigung genauso schnell reagiert wie der Angreifer", konstatiert Zanger. "Die gleiche Fähigkeit, die den Angreifer stärkt, ist gleichzeitig der größte Vorteil für die Sicherheitsverantwortlichen."

All diese Erkenntnisse bieten Systemhäusern und Dienstleister zahlreiche gute Ansatzpunkte bei ihren Kunden und anderen Unternehmen, die an der Schwelle der KI-Einführung stehen. Diesen können Sie die neue Stufe der Security sowohl zur Absicherung der eigenen als auch zum Schutz vor fremden Agenten anbieten – von der Beratung über die Bestandsaufnahme bis hin zur Integration oder Bereitstellung. Einen ersten einfachen Überblick über die Ist-Situation in der Abwehrbereitschaft liefert beispielsweise ein "Readiness Checker" des SANS-Institute. Auch bei der Umsetzung gilt es dann wieder einige KI-spezifische Details zu beachten. So gibt das SANS Institute etwa zu bedenken, das selbst gehostete Open-Weight-Modelle, die etwa für Incident-Response oder Notfälle eingesetzt werden, als Teil der Sicherheitsarchitektur selbst vorher auf verstecktes Verhalten überprüft werden sollten.

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden