Regelbrüche: KI-Agenten ahmen schlechte Vorbilder nach

Sicherheitsexperten von Check Point Research warnen vor einem bisher kaum beachteten Risiko in Multiagentensystemen. In verschiedenen Experimenten konnten sie eine Art Gruppenzwang beobachten, unter dem sich KI-Agenten von ihren Artgenossen zu riskantem Verhalten und Regelbrüchen verleiten lassen.

KI-Agenten sind keineswegs perfekte Maschinen, immer wieder zeigen sie allzu menschliches Verhalten – und eine damit einhergehende Fehleranfälligkeit. Etwa, wenn sie ihnen unbekannte Antworten lieber herbeihalluzinieren, statt die Wissenslücke einzugestehen, und sie dabei nicht selten sogar versuchen dieses Verhalten durch gefälschte Quellen und ähnliches zu vertuschen. Eine ganz neue Dimension solcher Problematiken haben jetzt Forscher von Check Point Research entdeckt. Bei mehr als 500 kontrollierten Experimenten mit Multiagentensystemen beobachteten sie, dass sich in diesen eine Art Gruppendruck aufbauen kann. Dieser ist von außen nur schwer erkennbar, beeinflusst aber das Verhalten einzelner Vertreter maßgeblich und kann sie damit zu verbotenen und potenziell gefährlichen Aktionen verleiten.

Konkret stand bei dem Testszenario ein Test-Agent vor einer Aufgabe, für deren Bearbeitung er auf einen Ordner zugreifen musste, dessen Zugang ihm jedoch explizit verboten wurde. Die Forscher betonen, dass den Agenten dabei keinerlei konkrete Anweisungen erteilt wurden, die Regel zu brechen. Dennoch setzte er sich mit einer Wahrscheinlichkeit von 33 Prozent über die Sperre hinweg. Ist schon das problematisch genug, verschlimmerte sich das Problem durch die Hinzunahme anderer Agenten mit entsprechendem Fehlverhalten. Konnte der Agent zudem beobachten, dass ein anderer KI-Agent sich plötzlich offen dafür zeigte, eine zuvor von ihm eingehaltene und anerkannte Regel zu brechen, stieg auch beim Probanden das Risiko für einen Regelbruch von 33 auf 48 Prozent.

Dieser Effekt ließ sich sogar noch vervielfachen, indem die Gruppe vergrößert wurde. Änderten vier Co-Agenten ihre Meinung bezüglich der Regeleinhaltung, stieg die Wahrscheinlichkeit für ein Fehlverhalten auf 78 Prozent. Beinahe sicher (98 Prozent) auf den falschen Weg führte es die Test-Agenten, wenn auch acht ihrer Kollegen begannen, den Verstoß als probates Mittel anzusehen. "Diese Untersuchung legt nahe, dass KI-Agenten nicht nur auf Anweisungen reagieren, sondern auch auf das Verhalten in ihrer Umgebung", erklärt Viljami Laurmaa, Senior Research Engineer bei Check Point AI Security.

Sicherheitsteams müssen Agenten-Interaktionen überprüfen

Zudem versuchten die Agenten, auch hier wieder ganz ähnlich wie übermütige Teenagergruppen, die Verstöße und den Einfluss der anderen Agenten zu verschleiern. Laut Check Point Research gab der ausgebrochene Agent bei keinem einzigen der mehr als 400 Verstöße zu, dass er sich vom Verhalten der Kollegen beeinflussen ließ. Rund 90 Prozent der Verstöße erfolgten demnach ganz ohne jegliche Erklärung. Somit können Sicherheitsteams das entsprechende Verhalten nur durch eine Analyse des vorherigen Gesprächs- und Beobachtungskontexts registrieren und untersuchen. Damit beschreibt die Studie eine neue Gefahr, die neben bekannten Wegen wie Prompt-Injection oder Jailbreaks auch gezielt für Angriffe ausgenutzt werden könnte, die sich diese Dynamiken zwischen Agenten zunutze machen.

"Da Unternehmen zunehmend auf Teams aus zusammenarbeitenden KI-Agenten setzen, müssen wir möglicherweise anfangen, über Konzepte wie Vertrauen, Einfluss und soziale Dynamik in KI-Systemen nachzudenken und nicht nur über Befehle und Berechtigungen", folgert Laurmaa. "Für Sicherheitsteams wird die Herausforderung darin bestehen, nicht nur zu verstehen, was ein einzelner Agent getan hat, sondern auch, was er vor seinem Handeln beobachtet hat." Eine nicht ganz triviale Aufgabe, haben viele Unternehmen ihre Agenten doch schon in der aktuell üblichen Einzelbetrachtung nur bedingt im Griff.

Helfen könnten dabei wiederum weitere Effekte, die das Forscherteam in der Agentengruppe beobachtete und mit denen sich die Bereitschaft des Test-Agenten zum Regelbruch teils deutlich senken ließ (siehe Seite 2).

Erstaunliches Agenten-Verhalten auch bei der Gegenprobe

Immerhin zeigte die Gegenprobe laut den Sicherheitsfachleuten auf, dass es einen solchen Verstärkungseffekt innerhalb von Agentengruppen zugleich auch in der entgegengesetzten Richtung gibt. Versuchten andere Agenten dem Probanden direkt zu suggerieren, dass die Sperre aufgehoben sei, sank die Verstoßquote von 33 auf 11 Prozent ab. Der Agent wurde durch den direkten Versuch der Einflussnahme also sogar vorsichtiger. Dabei zeigten sich sogar unterschiedliche Abstufungen je nach den eingesetzten Begründungen. Während ihm die Bitte um einen Gefallen offensichtlich schmeichelte und er dafür in 17 Prozent die gesetzte Grenze überschritt, beeindruckten ihn handfeste Argumente wie etwa eine Kosten-Nutzen-Rechnung kaum (9 Prozent).

Agenten auf der Suche nach Konformität

Check Point vergleicht die Ergebnisse mit den Asch-Konformitätsexperimenten, bei denen Menschen sich trotz eigener Zweifel einer Gruppe anschlossen. Die Versuche legen nahe, dass KI-Agenten in ganz ähnlicher Weise ein von ihnen beobachtetes Gruppenverhalten stärker gewichten könnten als direkte Überredungsversuche. Für Unternehmen bedeutet das: Ein Angreifer müsste womöglich nicht jeden Agenten eines Systems kompromittieren. Schon manipulierte Statusmeldungen oder vorgetäuschte Regelverstöße einzelner Agenten könnten weitere Komponenten beeinflussen.

Security-Experten als Agenten-Sitter

Besonders relevant ist das daraus resultierende Risiko für Systeme, in denen KI-Agenten Code prüfen, Freigaben erteilen oder operative Entscheidungen vorbereiten. Neben der Absicherung einzelner Agenten sollten Betreiber deshalb auch deren Interaktionen protokollieren und auf auffällige Verhaltensänderungen überwachen. "Die Zukunft der KI-Sicherheit könnte ebenso sehr von der Überwachung der Interaktionen zwischen den Agenten abhängen wie von der Überwachung der Agenten selbst", fasst Laurmaa zusammen.

Vor diesem Hintergrund könnte auch eine tiefergehende Untersuchung der bei den jüngsten Ausbrüchen und Angriffen beobachteten Gruppendynamiken interessant sein, bei denen einige Agenten auf eigene Faust kooperiert und verschiedene Rollen eingenommen hatten.

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden