KI-Inferenz und Kostenkontrolle Gartner: KI-Inferenzkosten für Agenten verfünffachen sich

Anbieter zum Thema

Gartner Deutschland GmbH

Hyland Software Germany GmbH

Mendix GmbH

Bis 2028 könnten sich die KI-Inferenzkosten pro agentenbasiertem Workflow mehr als verfünffachen. Gartner sieht sinkende Modellpreise als Teil des Problems: Sie ermöglichen komplexere Abläufe, deren Gesamtaufwand schneller wächst als der Nutzen.

Fünfmal höhere Kosten und mehr: Nach Einschätzung von Gartner steigen die Ausgaben für die KI-Inferenz pro agentenbasiertem Workflow bis 2028 deutlich an. Der Grund liegt nicht in steigenden Preisen für einzelne Modelle. Vielmehr machen günstigere Modelle komplexere Anwendungen wirtschaftlich möglich – und treiben damit den Gesamtverbrauch in die Höhe.

Für Produktverantwortliche entsteht daraus ein Margenproblem. KI-Funktionen entwickeln sich von einzelnen Assistenzleistungen zu mehrstufigen Prozessen, in denen Systeme Aufgaben analysieren, Entscheidungen vorbereiten und weitere Modelle oder Werkzeuge einbinden. Jede zusätzliche Stufe erhöht den Bedarf an Rechenleistung und Tokens.

Sinkende Stückkosten verschärfen das Kostenproblem

Gartner beschreibt diese Entwicklung als „Inference Paradox“. Die Kosten pro Token sinken, während die KI-Funktionen leistungsfähiger und die darauf aufbauenden Abläufe umfangreicher werden. Die Kostenvorteile auf Modellebene reichen dadurch nicht aus, um den wachsenden Gesamtaufwand auszugleichen.

Drei Entwicklungen bestimmen laut Gartner die sogenannte Token-Ökonomie:

• Die Kosten für Basismodelle verbessern sich schnell.

• Effizientere KI ermöglicht den Einsatz leistungsfähigerer und teurerer Modelle.

• Komplexe KI-Workflows benötigen erheblich mehr Tokens als einfache Chatbot-Dialoge.

Damit wächst der Verbrauch schneller, als die Preise pro Token zurückgehen. Die technische Entwicklung überholt die Kostensenkung. Ein verlässliches Standardmodell, mit dem sich Kosten und Ertrag pro KI-Aufgabe dauerhaft kalkulieren lassen, ist nach Einschätzung des Marktforschungsunternehmens nicht absehbar.

Kostenfalle cloudbasierter KI-Betrieb

So sprengt das KI-Inferencing die Cloud-Budgets

Agenten benötigen deutlich mehr Inferenzleistung

Der Unterschied zeigt sich besonders beim Vergleich zwischen Chatbots und KI-Agenten. Ein Chatbot verarbeitet eine Anfrage und erzeugt daraufhin eine Antwort. Ein Agent muss dagegen innerhalb eines Workflows wiederholt Schlussfolgerungen ziehen, Zwischenschritte prüfen und den weiteren Ablauf bestimmen.

„Produktverantwortliche können nicht darauf setzen, dass eine effizientere Token-Ökonomie die KI-Kosten nachhaltig senkt“, sagt Will Sommer, Senior Director Analyst bei Gartner. „Jede neue Generation von KI-Funktionen benötigt mehr und häufig auch teurere Token. Ein verlässliches und wirtschaftlich tragfähiges Kostenmodell pro Einheit ist derzeit nicht in Sicht. Wer wettbewerbsfähige KI-Produkte entwickeln will, muss komplexe Ökosysteme aus mehreren Modellen aufbauen und dauerhaft betreiben.“

Wird eine Aufgabe an ein Modell mit agentenbasierter Schlussfolgerung weitergeleitet, liegen die Inferenzkosten laut Gartner mindestens fünfmal höher als bei einer einfachen Chatbot-Interaktion. Mit wachsender Aufgabenkomplexität kann der Abstand weiter zunehmen.

Kostenfalle KI

So treibt die KI-Infrastruktur die Cloud-Rechnung in die Höhe

Kostenkontrolle wird zur Produktaufgabe

Der wirtschaftliche Einsatz fortgeschrittener KI erfordert deshalb entweder deutlich höhere Erträge pro Anwendung oder eine präzise Steuerung der eingesetzten Modelle. Denkbar sind unter anderem eine abgestufte Inferenz, eine gezielte Weiterleitung einzelner Aufgaben und eine Orchestrierung mehrerer Modelle.

Diese Steuerung erhöht jedoch die technische und organisatorische Komplexität. Produktteams müssen festlegen, welche Aufgaben ein leistungsfähiges Modell rechtfertigen und für welche Prozessschritte kostengünstigere Modelle ausreichen. Eine pauschale Übergabe sämtlicher Aufgaben an autonome KI kann laut Gartner zu stark steigenden und schwer kontrollierbaren Ausgaben führen.

Die zentrale Herausforderung besteht damit nicht mehr allein darin, KI-Funktionen bereitzustellen. Entscheidend wird, ob Unternehmen deren Inferenzkosten entlang des gesamten Workflows messen, begrenzen und mit einem verlässlich erzielbaren Nutzen in Beziehung setzen können.

(ID:50932159)