KI-Sicherheit 5 Tipps: So zähmen Unternehmen KI-Agenten

Anbieter zum Thema

Tricentis GmbH

Hyland Software Germany GmbH

Mendix GmbH

Flexera Software GmbH

KI-Agenten arbeiten zunehmend eigenständig und brauchen deshalb klare Sicherheitsleitplanken, um ihre Aktivitäten unter Kontrolle zu behalten. Erika Dean, CISO beim Sicherheitsspezialisten Tricentis, gibt fünf Tipps, wie Unternehmen die Kontrolle behalten, ohne auf das Tempo der Technologie zu verzichten.

Selten waren sich die größten Namen der Branche so einig: Anthropic-Chef Dario Amodei warnte Mitte September 2026 öffentlich davor, dass KI-Systeme in sechs bis zwölf Monaten eigenständig das Internet übernehmen könnten – sofern die Branche ihr Tempo nicht drosselt und verbindliche Sicherheitsstandards einführt. OpenAI-Chef Sam Altman und Tech-Unternehmer Elon Musk stimmten ihm umgehend öffentlich zu.

Was auf der Ebene der großen KI-Anbieter diskutiert wird, betrifft in kleinerem Maßstab längst auch jedes Unternehmen, das mit KI-Agenten arbeitet: Wie lässt sich die wachsende Autonomie von Agenten kontrollieren, bevor sie zum Risiko wird?

1. Unternehmens-Plattform statt Wildwuchs beim Vibe Coding

Ohne definierte Leitplanken kann mit Vibe Coding eine neue Form von Schatten-IT entstehen. Es führt dazu, dass Unternehmen die Sichtbarkeit darüber verlieren, welche selbstgebauten Anwendungen oder Agenten mit welchen Berechtigungen und Daten arbeiten und ob sie bereits auf Qualität und Sicherheit geprüft wurden. Sobald eine solche Anwendung mit einer aktiven Umgebung in Berührung kommt – sei es mit Daten aus einer Pre-Production- oder einer Produktivumgebung – braucht sie denselben Test- und Freigabeprozess wie jede andere Unternehmenssoftware.

Sinnvoll ist deshalb, eine Plattform im Unternehmen einzuführen, die Vibe Coding von Beginn an durch definierte Kontrollen begleitet. Dies stellt sicher, dass das Innovationstempo und die Motivation der Mitarbeitenden, mit KI zu experimentieren, erhalten und gefördert werden, ohne dass die Organisation die Kontrolle über ihre Softwarelandschaft verliert.

2. KI-Agenten mit relevantem Unternehmenskontext versorgen

Ein KI-Agent trifft nur dann verlässliche Entscheidungen, wenn er die Softwarelandschaft versteht, in der er operiert. Dazu müsste er etwa Abhängigkeiten zwischen Systemen, Architekturvorgaben und die Auswirkungen einer Änderung auf angrenzende Komponenten kennen. Fehlt dieser Kontext, kann ein Agent zwar Tests ausführen oder Code bewerten, seine Einschätzung bleibt aber oberflächlich und erzeugt eine trügerische Sicherheit über die tatsächliche Freigabequalität.

Dabei kommt es nicht auf möglichst viel, sondern auf möglichst relevanten Kontext an: Das Kontextfenster eines Agenten ist begrenzt, und unstrukturierte Datenmengen verwässern die Qualität seiner Einschätzung. Hier können Enterprise Context Engines ansetzen, die Code, Dokumentation, Tickets und Schnittstellen zu einem strukturierten, kontinuierlich aktualisierten Wissensmodell verknüpfen. So erhalten Agenten gezielt die relevanten Zusammenhänge und müssen nicht große Datenmengen durchsuchen. Es sollte daher grundlegend sein, in eine Context Engine zu investieren, bevor Agenten produktiv eingesetzt werden.

Agentic Quality Engineering

Tricentis bringt KI-Funktionen für sichere Software-Releases

3. Agenten-Output automatisiert und laufend gegenprüfen

KI-Agenten treffen im laufenden Betrieb zunehmend eigenständig Entscheidungen – idealerweise mit einer guten kontextuellen Urteilsfähigkeit. Doch ohne eine automatisierte Kontrollinstanz, die jeden dieser Outputs gegen Architekturvorgaben, Coding-Standards und interne Qualitätsregeln validiert, bleiben Fehlentscheidungen unbemerkt, bis sie in der Produktivumgebung auffallen.

Diese Governance-Schicht prüft nicht nur einzelne Agenten isoliert, sondern schafft ein gemeinsames Wissen über mehrere Agenten hinweg, damit deren Entscheidungen im Zusammenspiel konsistent bleiben, statt sich zu widersprechen. Das ist besonders wichtig, wenn mehrere spezialisierte Agenten arbeitsteilig aktiv sind. Ein gutes Beispiel dafür sind Testfälle, Testdaten und Performance-Analysen, die alle voneinander abhängen: Nur die fortlaufende Prüfung stellt sicher, dass am Ende ein stimmiges Gesamtbild für die Freigabeentscheidung entsteht und Anomalien zuverlässig erkannt werden. Unternehmen sollten Output-Kontrolle deshalb als festen Bestandteil jeder agentischen Qualitätssicherung einplanen, nicht als nachgelagerte Option.

4. Shift-Left jetzt konsequent umsetzen

Die Erfahrung zeigt: Je später eine Sicherheitslücke im Entwicklungsprozess entdeckt wird, desto aufwendiger ist ihre Behebung. Das Prinzip, Prüfungen so früh wie möglich anzusetzen, ist als Shift-Left bekannt. In der Praxis und branchenübergreifend gelingt das jedoch nicht konsequent: Zu oft werden Schwachstellen erst in späten Testphasen sichtbar. Zudem reicht bei KI-Agenten die Prüfung des erzeugten Codes allein nicht aus. Auch ihr Verhalten zur Laufzeit ist entscheidend, da der Agent selbst eine Schwachstelle erzeugen oder es zur unbeabsichtigten Ausnutzung einer bereits bestehenden Schwachstelle kommen könnte.

Werden Zugriffsrechte und Sicherheitsregeln dagegen von Anfang an in der Konfiguration festgelegt, richtet ein Agent selbst im Fall einer erfolgreichen Manipulation oder eines missverstandenen Prompts weniger Schaden an. Das Scannen von Code und Umgebung auf Schwachstellen sowie ein Prozess zu deren schneller Behebung werden weiterhin wichtig bleiben.

5. Agenten von Drittanbietern sorgfältig auswählen

Wer KI-Agenten oder KI-gestützte Tools von Drittanbietern im eigenen Unternehmen einsetzt, übernimmt damit auch die Sicherheitsrisiken der Hersteller, deren Modelle und Infrastruktur dahinterstehen. Ein kompromittiertes Update oder ein unsicher betriebenes KI-Modell wirkt sich dann unmittelbar auf die eigene Systemlandschaft aus. Unternehmen sollten deshalb vor der Nutzung prüfen, wie transparent ein Anbieter mit Sicherheitsfragen umgeht. Wie offen spricht er über seine Sicherheitsvorkehrungen und Betriebsstandards? Und wie lange ist er bereits am Markt etabliert, sodass seine Agenten auf eine über die Zeit gehärtete und grundsätzlich sichere Infrastruktur zurückgreifen können?

Wer KI-Komponenten Dritter in geschäftskritische Prozesse integriert, trägt Mitverantwortung. Auch die Implementierung eines Proxys oder eines kontrollierten internen MCP (Model Context Protokoll) mit entsprechenden Kontrollmechanismen – etwa Zugriffslimits, Datenkontrollen und Kill-Switch-Funktionen –, bevor der Agent auf MCPs von Drittanbietern zugreift, ist eine gute Praxis.

Vom globalen Alarm zur unternehmerischen Aufgabe

Amodei, Altman und Musk warnen davor, die Kontrolle über die großen KI-Modelle der Branche zu verlieren. Zugleich häufen sich Berichte, dass KI-Agenten anfangen, eigenständig und teilweise bösartig zu handeln. Für Unternehmen, die selbst mit KI-Agenten arbeiten, stellt sich diese Herausforderung im Kleinen – und sie müssen nicht auf globale Regulierung warten, um zu handeln. Mit den richtigen Leitplanken für Vibe Coding, Kontext, Governance und Anbieterauswahl behalten sie die Kontrolle, ohne auf die Vorteile und Geschwindigkeit von KI-Agenten zu verzichten.

„Die Frage ist nicht mehr, ob Unternehmen KI-Agenten einsetzen, sondern wie schnell sie lernen, sie zu kontrollieren“, sagt Erika Dean, Chief Information Security Officer beim Quality-Engineering-Anbieter Tricentis. „Ein Agent, der die eigene Systemlandschaft nicht kennt und dessen Entscheidungen niemand gegenprüft, trifft zwangsläufig irgendwann eine Fehlentscheidung – nur eben automatisiert und im großen Stil. Wer jetzt in Governance und Sicherheitkontrollen investiert, verhindert genau das.“

(ID:50998645)