ROI mit generativer KI Erfolgsrezepte für produktive KI-Agenten

Anbieter zum Thema

Fsas Technologies GmbH

Flexera Software GmbH

Rund 95 Prozent aller KI-Projekte liefern nicht den erwarteten ROI. Srini Tallapragada, President und Chief Engineering & Customer Success Officer bei Salesforce, erklärt die Gründe dafür und legt dar, was alles notwendig ist, damit KI-Projekte mit Agenten reüssieren.

Viele KI-Projekte stecken im „pilot purgatory“ fest, dem Fegefeuer der Pilotprojekte. Das heißt, dass ein Unternehmen erst einmal ein Pilotprojekt, auch „Proof of Concept“ (PoC) genannt, erstellt, doch der erhoffte Erfolg in Form von Mehrwert bleibt aus. Und mit Demos, so Tallapragadas frustrierende Erfahrung, brauche man den CIOs gar nicht mehr kommen. Sie wollen alsbald wirtschaftlichen Wert aus KI ziehen.

In ihrem Dilemma sind diese CIOs nicht allein. Gemäß einer Studie des Massachusetts Institute of Technology (MIT), scheitern 95 Prozent aller unternehmensweiten Pilotprojekte für generative KI damit, vorzeigbaren ROI zu liefern. „Aber die anderen fünf Prozent müssen ja irgendetwas richtig machen“, gibt Tallapragada zu bedenken. „Was ist nötig, damit aus einem PoC ein breit eingesetzter KI-Agent wird?“

Die häufigsten Stolpersteine bei KI-Projekten

In seiner Rolle muss Tallapragada für den Erfolg der Salesforce-Kunden mit Agentforce sorgen. 12.000 Agentforce-Installationen seit Oktober 2024 sprechen für sich und bilden eine solide Daten- und Erfahrungsbasis. Der Manager spricht mit seinen Kunden und erhält ebenso wie seine Mitarbeitenden Feedback, das wiederum in die Verbesserung des Produkts einfließt.

Das fundamentale Missverständnis besteht seiner Ansicht nach darin, agentische KI als Zusatzfeature zu behandeln. Der Übergang zu agentischer KI erfolge nicht nur in technologischer Hinsicht, sondern „auch in kultureller, betrieblicher und organisatorischer Hinsicht.“ Deshalb gebe es mehrere Einsatzschwachstellen, an denen die KI-Teams scheitern.

Business Value mit GenAI

Produktiver KI-Einsatz: Das machen die erfolgreichen 5 Prozent besser

Unklare Ziele und KPIs: Ohne Business-Metriken kein Erfolg

Der erste Grund besteht darin, einen KI-Agenten als ein Automationswerkzeug zu behandeln und auszuführen. Liefert der Agent, was er soll? Es stellt sich oft heraus, dass gleich zu Beginn keine wirtschaftlichen Ergebnisse festgelegt wurden, die der Agent liefern soll. Die Lösung: Ein Agent braucht Leistungskennzahlen, Test-Rahmenwerke, ständige Überwachung und die Steuerung seines Lebenszyklus – zu einem bestimmten Zeitpunkt muss der Agent ersetzt oder gelöscht werden.

Nach dem Training und der Inbetriebnahme des Agenten bedenken viele Nutzer nicht, dass es Ausnahmefälle geben kann, für die der Agent Eskalationsanweisungen befolgen muss, beispielsweise die Konsultation eines Menschen. Nur wenn der Agenteneinsatz gemessen und nach seinem Erfolg beurteilt werden kann, könne auch der breit skalierte Roll-out erfolgen.

Agenten müssen Teil derjenigen IT-Systeme sein, mit denen die Mitarbeiter produktiv sind. Wenn also die Mitarbeiter ihre Arbeiten unterbrechen müssen, um zu einem anderen Werkzeug zu wechseln und dort ihre Informationen erneut einzugeben, dann fällt die Quote der Nutzung rasch ab.

Kontextwechsel killt Adoption

Eine tiefere Ursache dafür, dass Agenten überhaupt so isoliert ausgeführt werden, ist das Fehlen des nötigen Kontexts. LLMs reichen dafür einfach nicht aus. „Agenten benötigen detaillierten Kontext aus den Unternehmenssystemen, um sinnvolle Antworten zu liefern und Aktionen auszuführen“, erläutert Tallapragada.

Fehlt der Kontext, verfallen die Mitarbeiter in die sogenannte „Prompt Doom Schleife“, indem sie am Prompt immer wieder denjenigen Kontext nachliefern, den der Agent eigentlich eh schon haben sollte. Diese frustrierende Erfahrung führe zu noch weniger Akzeptanz der KI und schließlich dem Stillstand des Pilotprojekts.

Governance-Lücken: Audit Trails, RBAC und Compliance zuerst

Salesforce ist selbst sein eigener erster Kunde: „customer zero“. Als es Agentforce auf help.salesforce.com startete, wurde laut Tallapragada jede Message aufgezeichnet. Bei ein paar tausend Nachrichten war das noch machbar. Doch sobald der Umfang eine Million Nachrichten erreicht, wird die Prüfung durch Menschen unmöglich. Und trotzdem verlangt der Auditor einen Audit Trail, den es nachzuweisen gilt. Was also tun?

Wenn es keine Audit Trails, Benutzerrichtlinien oder Compliance gibt, wird das Projekt von der Rechtsabteilung oder externen Auditoren gestoppt. Für rollenbasierte Zugriffsrechte, Genehmigungsabläufe und Auditierung muss es ebenso ein Rahmenwerk geben, wie das bei menschlichem Personal der Fall ist. Wer keine Governance nachweisen kann, kann das Pilotprojekt nicht in Betrieb nehmen.

Infrastruktur und Observability gehen einher

Jeder Agent benötigt Ressourcen, meist für Rechenleistung und Speicherung. Doch viele der Unternehmen, mit denen Tallapragada gesprochen hat, haben ihren Agenten isoliert erstellt. Bei der Inbetriebnahme stellen sie dann fest, dass sie den Agenten nicht skaliert nutzen können, ohne die erforderliche Infrastruktur von Grund auf neu aufzubauen. Der Grund: Sie haben das Verhalten des Agenten nicht vorher getestet. Sie haben kein Überwachungssystem installiert, das Probleme bei der Ausführung erfasst und meldet. Und falls sich die Geschäftslogik ändert, verfügen sie über kein Framework, um die Agenten zu aktualisieren. Diese Defizite häufen sich an, bis jeder Agent zum Stillstand kommt.

Lessons Learned aus 12.000 Salesforce Agentforce-Deployments

Wie gesagt, ist Salesforce sein eigener „customer zero“. Über ein Jahr hinweg hat Tallapragadas Team Erfahrungen mit den 12.000 Agentforce-Installationen gesammelt. Der Top-Manager hat seine Erkenntnisse für drei Unternehmensbereiche zusammengefasst: für Sales, Support und Technik.

Im Support bewältigt Agentforce den Großteil der Interaktionen mit Kunden. Seit 2024 waren es exakt 2.793.542 Agentforce-Konversationen und 1.695.641 Supportanfragen, die von Menschen bearbeitet wurden (abgefragt am 27. Januar 2026). Diese Zahlen werden laufend aktualisiert. Das Personal hat nun mehr Zeit, statt reaktiven Support proaktiven Service anzubieten, d.h. dass Kunden ihre eigenen Agentforce-Agenten in Wochen oder sogar Tagen erstellen.

Dreamforce 2025: Slack wird zum Betriebssystem der KI-Agenten

Salesforce läutet mit Agentforce 360 das Zeitalter des „Agentic Enterprise“ ein

In der Abteilung „Technik und Entwicklung“ bearbeiten Agenten Routineaufgaben, Code-Pflege, proaktive Überwachung von Bedrohungen und erledigen sogar schnelle Notfallmaßnahmen. Tallapragada berichtet: „Dies hat zu einer Verbesserung der Bearbeitungszeit um 30 Prozent geführt, weil Agenten 91 Prozent der Vorfälle binnen acht Minuten entdecken und 87 Prozent davon binnen weniger als 20 Minuten erledigen.“ Jetzt hätten die Ingenieure und Entwickler mehr Zeit, sich um strategisch wichtige Dinge zu kümmern: neue Leistungsmerkmale, noch höhere Zuverlässigkeit und verbesserte Qualität.

„Im Vertrieb konnten Events und die Website zwar 250.000 Leads pro Woche generieren, doch nur die vielversprechendsten 25 Prozent konnten nachverfolgt werden – es war einfach zu kostspielig, mehr zu bewältigen“, berichtet Tallapragada. „Doch nun haben wir einen Sales Development Representative (SDR) Agenten erstellt. Der erledigt die Nachverfolgung und Qualifizierung der Leads, womit er seit dem ersten Roll-out jährlich eine Vertriebs-Pipeline im Wert von 60 Millionen US-Dollar erzeugt. Dadurch erreichen wir jetzt Kunden, die wir bislang nie erreicht hätten.“

Künstliche Intelligenz im Unternehmen

Human-in-the-Loop: Vertrauen ist die Währung produktiver KI

End-to-End-Kontext statt Insellösungen

Agenten müssen dort eingesetzt werden, wo die Mitarbeiter sie brauchen. Ist es Slack, mit denen die Techniker arbeiten, dann muss der Workflow also in Slack etabliert werden. Ein wirklich integrierter Agent versteht den Geschäftsprozess von Anfang bis Ende und im richtigen Kontext.

Dieser Kontext kommt aus den relevanten Systemen: dem CRM-System, dem Data Warehouse, der Service-Plattform und den Kollaborationswerkzeugen (etwa Slack). Wie jeder Mitarbeiter muss ein Agent das Zusammenspiel zwischen diesen Systemen für den korrekten Geschäftsablauf kennen. Er muss über die jeweiligen rollenbasierten Zugriffberechtigungen verfügen. All dies muss schon von Anfang bereitgestellt oder eingerichtet werden.

In einem geeigneten Entwicklungs- und Testrahmenwerk (über das Agentforce mittlerweile verfügt) können getestete Agenten in Betrieb genommen und von einem Überwachungssystem auf Verhalten und Ergebnisse hin beobachtet und anhand von Metriken beurteilt werden. Dafür ist eine Art Steuerungszentrale erforderlich.

Ein Governance-Framework, viele Modelle: MCP plus Vertrauensschicht

Ohne Governance keine KI. Die Gefahr besteht sonst, dass ein Agent und seine Kopie zwei verschiedene Sets an Zugriffsrechten besitzen und folglich unterschiedliche Datensätze oder LLM-Ergebnisse auswerten. Chaos ist das Resultat. Richtig wäre es also, nur ein Governance-Framework zu nutzen, den Agenten aber verschiedene LLMs für unterschiedliche Zwecke heranziehen zu lassen. Für so manchen Kunden sind Kosten, Leistung und Ressourcenbedarf (etwa die Anzahl der nötigen GPUs) wichtige Rahmenbedingungen, die ein Agent einzuhalten hat.

Googles offener Standard „Model Context Protocol“ (MCP) hat mittlerweile durchgesetzt. Doch Tallapragada ist der Ansicht, dass „MCP allein nicht reicht“. Man brauche weiterhin die Schicht, die das Vertrauen in das System gewährleistet: rollenbasierte Zugriffsrechte, Auditierungsanforderungen und schließlich Compliance in jeder Hinsicht. Denn was die Rechtsabteilung ablehnt, lässt sich, wie gesagt, nicht nutzen.

Erfolgsrezept gegen das „Fegefeuer“: der Schritt-für-Schritt-Plan

Um dem berüchtigten „pilot purgatory“ (Fegefeuer der Pilotprojekte) zu entkommen, empfiehlt Tallapragada ein vorsichtiges Schritt-für-Schritt-Vorgehen. „Man wähle einen internen Use Case mit geringem Risiko aus, so etwa Werkzeuge für Mitarbeiter, Wissensmanagement, Zusammenfassungen von Kommunikationskanalkonversationen. Man erstelle einen Agenten und liefere ihn an die Mitarbeiter aus. Durch Anschließen weiterer Datenquellen erweitere man ihn, füge zusätzliche Fähigkeiten hinzu und integriere den Agenten in kollaborative Plattformen (wie etwa Slack).

Auf diese Weise kann sich die Belegschaft mit dem Agenten vertraut machen, ihn testen, Zutrauen fassen und Akzeptanz entwickeln. Sobald erwiesen ist, dass der Agent wie gewünscht funktioniert, kann man ihn für Kundeninteraktionen bereitstellen. Man sollte unbedingt zu Rückmeldungen seitens der Kunden einladen. Das Ganze wiederholen.

Weitere Tipps aus der Praxis

Fünf Agentforce-Kunden berichten bereits ausführlich von ihren Erfahrungen und Erkenntnissen. Unter ihnen befindet sich mit Heathrow einer der größten Flughäfen der Welt. Weitere Erkenntnisse geben die Anwender weiter, die in einem gesonderten Blog versammelt sind. Sie bestätigen Tallapragadas Erfolgsrezept: klein anfangen, schnell skalieren.

Ein internes Interview mit Salesforce-Experten beschreibt nicht nur das Agentforce-Framework, sondern auch die Phasen, in denen es zur Anwendung kommt: 1) Vertrauen und Ausrichtung, 2) Entwurf und Kontext, 3) Skalierung und Orchestrierung. Damit ließe sich gewährleisten, dass das Pilotprojekt auch die letzten Meter bis zum Erfolg bewältigt.

(ID:50739209)