KI-Governance und Zugriffsrechte Digitale Assistenten: Diese Regeln sollten Unternehmen aufstellen

KI-Agenten greifen immer tiefer in geschäftskritische Prozesse ein und erhalten dabei Zugriff auf sensible Unternehmensdaten. Bisher verfügt nur ein Drittel der deutschen Unternehmen über ausgereifte Governance-Strukturen für ihre digitalen Assistenten. Dabei brauchen diese dieselben Berechtigungs- und Identitätskonzepte wie menschliche Mitarbeitende. Die IT-Anbieter erweitern ihre Lösungen entsprechend.

Agentensysteme sind die nächste Stufe in der Entwicklung künstlicher Intelligenz (KI). Statt einzelner Aufgaben übernehmen sie ganze Jobs, die verschiedene Tätigkeiten umfassen. Unternehmen setzen zunehmend auf die digitalen Assistenten, mit denen sich viele Prozesse automatisieren lassen.

Doch um möglichst viel Nutzen aus der Technologie zu holen, sollten die Agenten weitgehend autonom handeln. Das bedeutet also, Kontrolle an die KI abzugeben, die zunehmend Einfluss auf geschäftskritische Abläufe nimmt und dafür Zugang zu den relevanten Informationen benötigt. Laut einem Report des Sicherheitsspezialisten Palo Alto Networks haben in Deutschland fast 43 Prozent der KI-Agenten Zugriff auf Unternehmensdaten – darunter potenziell sensible Informationen wie Finanzzahlen oder kritische Systeme.

Governance für KI-Agenten: Deutsche Unternehmen sind kaum vorbereitet

Ungeregelter Zugriff auf Daten bedeutet jedoch Risiko. „KI-Agenten stoppen nicht einfach, wenn etwas schiefläuft und so können sie unkontrollierte Aktionen in übermenschlicher Geschwindigkeit ausführen, bevor eingeschritten werden kann“, sagt Frank Schwaak, Field CTO für die Region EMEA beim Sicherheitsspezialisten Rubrik. „Vorfälle zeigen, dass Fehler von KI-Agenten sehr unterschiedliche Folgen haben können: von technischen Störungen und rechtlichen Problemen bis hin zum versehentlichen Löschen ganzer Produktionsdatenbanken.“

Dass Agenten daher auch in eine Governance-Strategie eingebunden werden müssen, haben aber viele Firmen noch nicht auf dem Schirm, wenn man sich eine Studie von Red Hat anschaut. Im Auftrag des Software-Anbieters wurden jeweils 100 IT-Entscheider aus Deutschland, Frankreich, Großbritannien, Italien und den Niederlanden zum Thema KI befragt. Eines der Ergebnisse: Nur 30 Prozent der deutschen Unternehmen geben an, über ausgereifte Governance-Strukturen für ihre KI-Agenten-Lösungen zu verfügen.

Den Einsatz von KI-Assistenten verantwortungsvoll regeln

Wenn man mit Experten und Expertinnen über den Einsatz von KI-Agenten redet, heben diese stets hervor, wie wichtig dieser Aspekt ist. Zu ihnen zählt zum Beispiel Carsten Hunfeld, Director EMEA bei Augmentir, einem Anbieter von Agentic-AI-Lösungen. Sein Unternehmen habe sechs Regeln für den Einsatz von KI-Agenten entwickelt, die sicherstellen, dass die Systeme transparent, verantwortungsvoll und verlässlich funktionieren, berichtete Hunfeld im Gespräch auf der Hannover Messe.

Bildquelle: Augmentir Links

Nur mit verbindlichen Regeln lässt sich KI heute und in Zukunft effizient und mit kalkulierbarem Risiko nutzen.

Carsten Hunfeld, Augmentir

Regel Nummer eins: Jede Aktivität eines KI-Agenten muss nachvollziehbar sein. Nur wenn dokumentiert ist, welche Anweisungen gegeben wurden und welche Tools zum Einsatz kamen, lassen sich Entscheidungen prüfen und verstehen. Zu den weiteren Leitlinien zählt, dass jeder KI-Agent eine Instanz benötigt, die für die Entscheidungen der Technologie einsteht. Diese Aufgabe kann entweder ein Mensch oder eine organisatorische Einheit übernehmen.

Auch Schwaak von Rubrik hat mehrere Empfehlungen für den Umgang mit KI-Agenten parat. Eine davon lautet: Die Systeme sollten nur über die Zugriffe verfügen, die sie tatsächlich benötigen – so wie es auch bei Mitarbeitenden üblich ist. „Der Zero-Trust-Ansatz gilt also auch hier“, so Schwaak. „Strenge Zugriffskontrollen sind essenziell, insbesondere wenn Agenten mit Kundendaten oder geschäftskritischen Prozessen interagieren.“

Vorhandene Berechtigungskonzepte nutzen

KI-Agenten müssen also genauso wie menschliche Mitarbeitende behandelt werden – unter anderem was das Identitätsmanagement und die Verwaltung der Zugriffsrechte betrifft. „Man benötigt ein feingranulares Modell, das die Berechtigung der Agenten regelt“, sagt Jan Metzner, Principal Specialist Solutions Architect Manufacturing bei AWS. Dieses unterscheide sich aber nicht grundsätzlich von dem für menschliche Anwender. Vorhandene Berechtigungskonzepte könnten also auch für die Agentensysteme genutzt werden.

Auch für Gabriele Eder, General Manager für den Bereich Manufacturing bei Microsoft Deutschland, ist Governance beim Einsatz von KI-Agenten ein extrem wichtiger Punkt. Auf der Hannover Messe berichtet sie, dass Microsoft seine Plattform für Identity & Access Management mit dem Namen Entra auf Agenten erweitert habe. Jedem Agenten, der dort neu angelegt wird, werden entsprechende Zugriffsrechte zugeteilt, wie es auch bei einer menschlichen Person der Fall ist.

Damit ist Microsoft nicht allein. Andere Software-Anbieter haben ebenfalls ihre Governance-Konzepte auf nicht-menschliche Akteure erweitert. SAP beispielsweise orientiert sich bei seinem Identitätsmanagement für KI-Agenten an den Geschäftsprozessen – also welche Daten das System für seine Aktion innerhalb eines Prozesses benötigt. Die Sicherheits- und Governance-Lösung für die KI-Agenten ist die SAP Business Technology Plattform.

Servcienow adressiert das Thema mit seinem AI Control Tower. Dieser bietet laut Anbieter vollständige Transparenz und feingranular gesteuerte Berechtigungen für jeden Menschen und jeden Agenten im System sowie einen vollständigen Überblick über alle vernetzten Objekte im Unternehmen.

Zusammenarbeit mehrerer KI-Agenten als Governance-Herausforderung

So lässt sich für jeden einzelnen Agenten also festlegen, worauf er zugreifen kann und auch welche Aktionen er ausführen darf und welche nicht. Interessant wird es jedoch, wenn verschiedene Agenten zusammenarbeiten. Solche Konzepte werden gerade verstärkt von den Anbietern propagiert, sie treiben die Automatisierung auf das nächste Level. In der Fertigung beispielsweise könnten Agenten so selbständig untereinander klären, welches Bauteil gerade von welcher Maschine bearbeitet werden soll.

Bildquelle: Rubrik

Der Zero-Trust-Ansatz
gilt auch für KI-Agenten.

Frank Schwaak, Rubrik

In solchen Fällen muss sichergestellt sein, dass die Policies, nach denen die Agenten arbeiten, auf das gemeinsame Ziel zusteuern. Wichtig ist daher ein übergeordnete Instanz. Laut Metzner von AWS ist ein Agent dann für das Bereitstellen der Policies zuständig, an die sich alle anderen halten müssen.

Security-Experte Schwaak sieht die Kooperation von KI-Agenten durchaus als Herausforderung. Fehler könnten sich auf diese Weise schnell verbreiten. „Deshalb sollten Systeme so konzipiert sein, dass ein einzelner Fehler nicht unmittelbar zu großflächigen Betriebsstörungen führen kann“, sagt Schwaak. „Agentenaktionen sollten, wo immer möglich, isoliert werden – das verhindert, dass sich ein kleiner Fehler zu einem schwerwiegenden Vorfall ausweitet.“

Human-in-the-Loop: Warum der Mensch die Kontrolle behalten muss

Doch unabhängig davon, wie gut ein Agent in ein Berechtigungskonzept eingebunden ist – der Human-in-the-loop-Ansatz sollte in jedem Fall eingehalten werden. Darin sind sich alle Experten und Expertinnen einig. „Der Mensch muss immer involviert werden. Er kontrolliert, was eine KI darf, was sie nicht darf und innerhalb welcher Leitplanken sie agiert“, sagt Eder von Microsoft. Dies gewährleiste Responsible AI – also der Einsatz von KI nach verantwortungsvollen Maßstäben.

Dazu zählt auch, die Entscheidungen der KI gerade in kritischen Prozessen zu überprüfen und zu genehmigen. „Je mehr Wirkung, desto mehr menschliche Kontrolle“, lautet Augmentirs Regel Nummer fünf. KI dürfe zwar unterstützen. „Wo ihre Handlungen aber zu erheblichen wirtschaftlichen oder persönlichen Konsequenzen führen, ist humane Aufsicht erforderlich.“ Und die sechste Regel gibt vor, den KI-Einsatz einzugrenzen, wenn Gefahr für Leib und Leben zu befürchten ist. In sicherheitskritischen Bereichen mit potenziell lebensgefährlichen Folgen sollten generative KI-Agenten nach heutigem Stand nicht autonom steuernd eingreifen, so die Empfehlung.

„Wir sind der festen Überzeugung, dass KI die menschliche Intelligenz ergänzen und nicht ersetzen sollte“, sagt Hunfeld. Damit dieser Grundsatz gewahrt bleibt, brauche es verbindliche Regeln. „Nur so lässt sich KI heute und in Zukunft effizient und mit kalkulierbarem Risiko nutzen.“

(ID:50893244)