Governance statt Autonomie – Wie sich KI Vertrauen verdient

Auch im Service-Management verspricht KI viele Prozesse deutlich zu vereinfachen und beschleunigen. Gerade wenn das auf Anhieb gut gelingt, kann es jedoch auch schnell zu fatalen Fehleinschätzungen führen, warnt Martin Claßen von Topdesk und führt aus, was die Basis für echtes Vertrauen in KI-Agenten im ITSM-Bereich ist und welche Rolle der Mensch dabei spielt.

Das Versprechen autonom agierender KI-Agenten ist groß – sowohl in der externen Kommunikation als auch bei internen Prozessen. Während sich in der externen Kommunikation Unternehmen ihrer Verantwortung in Sachen Governance bewusst sind, herrscht in der internen Kommunikation vielerorts noch Aufholbedarf. Grundsätzlich gelten dort aber die gleichen Spielregeln des EU AI Acts wie in der externen Kommunikation. Nur ein ‘Human in the Loop’ reicht dafür nicht aus.

Seit dem 2. August 2026 greifen, mit einer Übergangsfrist bis zum zweiten Dezember, weitere Vorgaben des EU AI Act. Dazu gehören auch Transparenzpflichten für bestimmte KI-Systeme und KI-generierte Inhalte. Auf Bildern oder unter Texten häufen sich inzwischen Disclaimer zum Einsatz von KI bei der Erstellung. Auch beim Anruf im Kundensupport und der Unterhaltung mit einem Sprachbot ist es eine zunehmende Selbstverständlichkeit, dass wir erfahren, wenn am anderen Ende der Leitung kein echter Mensch sitzt.

Wer aber den internen Service Desk um Hilfe bei einem IT-Problem bittet oder eine Frage rund um Elternzeit und Urlaub hat, erfährt deutlicher selten, dass er in vielen Fällen zunächst mit einer KI interagiert. Auch Mitarbeitende sollten deshalb wissen, mit wem sie kommunizieren: Mensch oder Maschine?

Solche Transparenz beruht auf strukturierten Governance-Prozessen. Governance wiederum bedeutet, dass Menschen in der Organisation den Überblick behalten, für welche Zwecke KI wie eingesetzt wird. Bevor also von einem Tag auf den anderen voreilig autonom agierende Agenten im Service Desk implementiert werden, lohnt sich der Blick auf die vorhandenen Strukturen. Denn bei weitem sind nicht alle Organisationen im Servicemanagement reif dafür. Sicherer und auch mit weniger Risiko behaftet ist in solchen Fällen eine eng beaufsichtigte KI, eingebettet in die bestehenden Prozesse und Abläufe. Menschen in den Organisationen aktivieren dann bewusst KI-Funktionen dort, wo sie es für sinnvoll und auch verantwortbar halten.

Was häufig unterschätzt wird: Verantwortungsvolle Governance verlangt den Menschen vor allem Wachsamkeit ab. Diese geht gerade dann abhanden, wenn KI besonders erfolgreich funktioniert. Denn wenn alles funktioniert, schleicht sich nur allzu schnell ein bisschen Nachlässigkeit ein.

Es besteht daher die Gefahr, dass ausgerechnet dann die Fehlerwahrscheinlichkeit steigt, je besser die KI arbeitet. Denn wenn wir feststellen, dass die KI korrekt arbeitet, schalten wir in der Aufsicht schneller auf ‘Autopilot’. Die KI richtet es schon, das haben wir selbst gesehen. Sollte sie dann aber einmal falsch liegen und wir diesen Fehler aufgrund unseres vollständigen Vertrauens in die Abläufe übersehen, stellt sich die Frage nach der Tragweite des Risikos im Fall der Fälle. Im Englischen sprechen wir von ‘Review Fatigue’, am ehesten lässt sich dies mit ‘Kontrollmüdigkeit’ übersetzen. Das Problem ist nicht, dass die KI Fehler macht. Das Problem ist, dass Menschen aufhören, mit solchen Fehlern zu rechnen und blind beginnen der KI vertrauen.

Es stellt sich die Frage: Wann braucht es mehr, wann weniger Wachsamkeit?

Weniger Bedenken gibt es zurecht dort, wo es um eher technokratische Fragen geht. Sobald dagegen sensible Daten oder Fragestellungen betroffen sind, sollten Governance-Fragen Vorrang vor einer möglichst umgehenden und umfassenden Automatisierung genießen. Diese mag zwar kurzfristig zu enormen Effizienzsteigerungen beitragen. Doch die damit einhergehenden Risiken bei mangelhafter Governance überwiegen häufig, ohne dass ein frühzeitiges Bewusstsein dafür vorherrscht.

Bei repetitiven Aufgaben zahlt sich der Einsatz von KI in der Regel besonders schnell aus. Allerdings sollten wir auch in diesem Fall die Rolle der Menschen nicht unterschätzen. Zur neuen Routine zählt es auch dann, den Einsatz von KI weiterhin zu überwachen. Governance bedeutet zu definieren, was der Mensch autorisieren muss und wann ein Alert-System greift, das Menschen systematisch zur Freigabe auffordert.

Denn Personen tragen weiterhin die Verantwortung für Entscheidungen, nicht die KI. Ein KI-Agent, der beispielsweise erweiterte Berechtigungen außerhalb von Datenschutz- oder Sicherheitsregeln genehmigt, führt unmittelbar zu Compliance-Problemen. Und ein durch autonome KI-Agenten falsch kategorisiertes Ticket kann eine kritische Fehlerbehebung verzögern; veraltete Daten können Nutzende in die Irre führen, und eine schlechte Übersetzung kann wichtige Nuancen übersehen. Die handelnden Menschen in Organisationen müssen wissen, was die KI tun darf, was eine menschliche Überprüfung erfordert und was niemals ohne Validierung live gehen sollte. Je größer der potenzielle Schaden einer falschen Entscheidung durch KI, desto höher die erforderliche menschliche Kontrollstufe.

Ironischerweise droht daher das nächste Hamsterrad, kaum dass wir das erste hinter uns gelassen haben: Dass der Aufwand für die permanente Aufsicht dessen, was KI in unserer Organisation alles macht, am Ende Überhand nimmt. Denn je mehr Arbeit wir mithilfe von KI automatisieren, desto mehr müssen wir dieser Logik folgend beaufsichtigen. Was also tun?

Gute und effiziente Governance beruht am Ende auf der Vorarbeit. Wer im Panik-Modus versucht, einen bereits laufenden autonomen Agenten wieder unter Kontrolle zu bringen, steht vor einer Mammutaufgabe. In einer deutlich besseren Ausgangslage stehen die Verantwortlichen, die im Vorfeld ihre Hausaufgaben erledigt haben: Eine gründliche Dokumentation darüber, wo und wie KI eingesetzt wird; über Zugriffsrechte und über die Datennutzung und -speicherung durch KI. Dazu zählt auch eine Übersicht über Verantwortlichkeiten und über ein strukturiertes Wissensmanagement. Und es ist definiert, wann die KI wie hochwertig arbeiten muss und wie streng sie kontrolliert wird. Bei finanziellen Entscheidungen wird die Messlatte deutlich höher liegen als bei Übersetzungen einer Mail.

Organisationen sollten nicht als erstes fragen, was alles die KI wie bald autonom erledigen kann. Vorrang hat die Frage, wie viel Autonomie die Governance einer Organisation verantworten kann. Denn vertrauenswürdige KI verdient sich ihre Autonomie schrittweise.

Zum Autor:

Martin Claßen ist Chief Product Officer bei TOPdesk. Das Softwareunternehmen mit Sitz in Delft entwickelt Service-Management-Software. Dabei legt das Unternehmen besonderes Augenmerk auf Benutzerfreundlichkeit und schnelle Implementierung und begleitet die Kunden bei verschiedensten Szenarien wie dem Auf- und Ausbau von Self-Service-Angeboten oder der Verbessrung der Zusammenarbeit verschiedener Serviceteams. Seit 2004 ist der niederländische Anbieter auch in Deutschland mit einer eigenen Niederlassung präsent (Kaiserslautern) und hat sich in den letzten Jahren mehr als 1.000 Kunden im DACH-Gebiet aufgebaut.

CRN-Newsletter beziehen und Archiv nutzen - kostenlos: Jetzt bei der CRN Community anmelden