ChatGPT: Trügerische Sicherheit im "Lockdown Mode"

Der jüngst ausgerollte "Lockdown Mode" für ChatGPT ist ein weiterer Beleg dafür, dass Prompt Injection und die Datenexfiltration über MCP-Konntektoren reale Risiken sind. Marc ten Eikelder argumentiert jedoch, dass die Maßnahme am falschen Punkt ansetzt und deshalb nicht ausreichend ist, um Sicherheit und Compliance aufrecht zu erhalten.

OpenAI hat aktuell den "Lockdown Mode" für ChatGPT angekündigt. Dabei tat das Unternehmen etwas Bemerkenswertes: Es bestätigte öffentlich, dass Prompt Injection über MCP-Konnektoren ein ernstes unternehmerisches Exfiltrationsrisiko darstellt. Es ist ernst genug, um darauf architektonisch zu reagieren. Für Sicherheits- und Compliance-Verantwortliche in deutschen Unternehmen, ob Mittelstand oder DAX-Konzern, ist diese Bestätigung wichtig und hat direkte Konsequenzen. Denn der neue Lockdown Mode verrät etwas über die Lücke, die er zu schließen versucht.

Der Lockdown Mode und sein Risiko
Der Lockdown Mode beschränkt das Verhalten von ChatGPT auf der Anwendungsschicht. Administratoren erhalten eine Kontrolloberfläche, mit der sie festlegen können, auf welche MCP-Konnektoren der Agent zugreifen und welche externen Dienste er aufrufen darf. Für viele Organisationen bedeutet das eine spürbare Verbesserung gegenüber der Standardkonfiguration. Doch das Problem liegt darin, dass dieser Ansatz das Risiko auf der falschen Ebene adressiert.

Prompt Injection wird als die primäre Schwachstelle in unternehmensweiten KI-Systemen geführt.* Der Angriff manipuliert das Verhalten des KI-Agenten durch den Inhalt, den er verarbeitet, und geschieht nicht über die Konfigurationsebene, die der Administrator kontrolliert. Ein Angreifer, der Anweisungen in ein Dokument, eine Rechnung oder eine E-Mail einbetten kann, die der Agent im Rahmen normaler Geschäftsprozesse verarbeitet, kann diesen anweisen, sensible Daten an ein externes Ziel zu übermitteln. Das geschieht unabhängig davon, wie der Lockdown Mode konfiguriert ist, denn der Angriff operiert auf der Inhaltsschicht, nicht auf der Konfigurationsschicht.

Das ist kein theoretisches Risiko. Es ist der Grund, warum OpenAI einen operativen Modus entwickelt hat. Und es ist der Grund, warum die reine Aktivierung dieses Modus für regulierte Unternehmen keine ausreichende Kontrolle darstellt.

Regulatorische Pflichten in Gefahr
Für deutsche Unternehmen verleiht die regulatorische Ausgangslage diesem Risiko eine unmittelbare Compliance-Dimension. Das NIS-2-Umsetzungs- und Cybersicherheitsstärkungsgesetz (NIS2UmsuCG) verpflichtet Unternehmen in kritischen und wichtigen Sektoren, angemessene technische und organisatorische Maßnahmen zur Beherrschung von Cybersicherheitsrisiken zu ergreifen. Das schließt Risiken, die durch den Einsatz KI-gestützter Systeme entstehen, ein. Zu den ausdrücklich genannten Pflichten gehören die Sicherheit der Lieferkette, die Steuerung von Zugriffsrechten und die Protokollierung sicherheitsrelevanter Ereignisse. Ein KI-Agent, der durch Prompt Injection vertrauliche Daten exfiltriert, erfüllt keine dieser Anforderungen egal, ob eine Lockdown-Konfiguration aktiviert war oder nicht.

Die Datenschutz-Grundverordnung hat dazu noch Ergänzungen. Artikel 32 DSGVO verlangt technische und organisatorische Maßnahmen, die ein dem Risiko angemessenes Schutzniveau gewährleisten. Ein KI-Agent, der aufgrund von Prompt Injection personenbezogene Daten an einen nicht autorisierten Empfänger übermittelt, verstößt gegen diese Pflicht. Das ist unabhängig davon, ob die verantwortliche Stelle eine Responsible-AI-Richtlinie verabschiedet oder ein Datenschutzkonzept vorgelegt hatte. Die meldepflichtige Datenpanne ist das Ergebnis, nicht der Prozess.

Governance im Zeitalter der KI-Agenten
Was Datenschicht-Governance im Kontext von KI-Agenten bedeutet, unterscheidet sich grundlegend von der Anwendungskonfiguration. Der KI-Agent darf nicht auf Daten zugreifen, für die er keine Berechtigung hat. Zumindest nicht aufgrund einer Konfigurationsanweisung, die durch Prompt Injection umgangen werden kann, sondern aufgrund von Zugriffskontrollen, die auf der Inhaltsebene wirken, unabhängig davon, was dem Agenten instruiert wird. Jede Aktion des Agenten auf sensiblen Daten muss unveränderlich protokolliert werden: Wer oder was hat zugegriffen, wann wurde welche Aktion durchgeführt, welche Daten waren beteiligt. Diese Protokolle sind es, die Behörden nach Vorfällen anfordern. Organisationen, die sie nicht vorweisen können, befinden sich in einer ganz anderen Position als jene, die sie haben.

Mittelständische und große deutsche Unternehmen, die KI-Agenten in produktiven Prozessen einsetzen, stehen vor einer Entscheidung, die bereits aus der DSGVO-Umsetzung bekannt ist: Eine Governance-Infrastruktur vor dem Vorfall aufzubauen ist qualitativ anders als sie danach zu erklären. Besonders für den deutschen Mittelstand schlägt diese Asymmetrie besonders hart durch. Eine fehlende Protokollierung sicherheitsrelevanter KI-Aktivitäten ist unter NIS2UmsuCG kein Kavaliersdelikt, sondern eine prüfungsrelevante Lücke mit Bußgeldpotenzial. Die regulatorischen Rahmenbedingungen stehen bereits. NIS2UmsuCG, DSGVO Art. 32 aber auch DORA und die EU-KI-Verordnung definieren gemeinsam den Mindeststandard für technische Schutzmaßnahmen. Der Lockdown Mode ist ein Schritt in die richtige Richtung, aber kein Ersatz für diese Anforderungen.

Fazit
Die aktuelle Ankündigung von OpenAI ist kein gewöhnliches Produkt-Update. Sie ist eine Marktbestätigung: KI-Datenexfiltration durch Prompt Injection ist real, systematisch und ernst genug, um eine architektonische Reaktion zu erfordern. Sicherheits- und Compliance-Verantwortliche in deutschen Unternehmen, die unter dem NIS2UmsuCG, der DSGVO und der EU-KI-Verordnung operieren, sollten diese Bestätigung als Signal lesen. Sie ist ein Anlass, die eigene KI-Governance-Architektur kritisch zu prüfen: Setzen Schutzmaßnahmen auf der richtigen Ebene an und sind sie im Fall einer behördlichen Prüfung nachweisbar?

*Die OWASP Top 10 für LLM-Anwendungen - https://owasp.org/www-project-top-10-for-large-language-model-applications/ und https://genai.owasp.org/llm-top-10/

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden