KI-Agenten und Inferenzkosten Vom Prompt zum Prozess: So skaliert die KI-Infrastruktur effizient

Anbieter zum Thema

Lenovo (Deutschland) GmbH

Flexera Software GmbH

Cloudgermany.de GmbH

Yorizon GmbH & Co. KG

Generative KI hat den schnellen Zugang zu Rechenleistung in den Vordergrund gerückt. Mit der nächsten Entwicklungsstufe – KI-Agenten, die Prozesse kontinuierlich ausführen – verschiebt sich der Fokus jedoch: Unternehmen müssen nicht mehr nur ausreichend Infrastruktur bereitstellen, sondern Inferenzkosten, Ressourcen und Datenflüsse effizient steuern.

Während künstliche Intelligenz (KI) täglich neue Fortschritte macht, stehen Unternehmen bei ihrem Einsatz in Bezug auf die wirtschaftliche Skalierung noch am Anfang. Der nächste Schritt nach generativer KI, bei der weniger die Kosteneffizienz, sondern vielmehr schnelle Verfügbarkeit im Vordergrund steht, wird zweifelsohne durch KI-Agenten geprägt werden. Durch immer leistungsfähigere Sprachmodelle und Agentensysteme, die nicht auf einzelne Prompts beschränkt sind, entstehen kontinuierliche Inferenzprozesse und entsprechend auch kontinuierliche Kosten. GPU-Ressourcen werden umverteilt – weg vom Training und hin zum laufenden Betrieb.

Noch ist der Einsatz von KI-Agenten nicht in der Breite angekommen. Die klassischen Beispiele sind Kundenservice, Softwareentwicklung oder Back-Office-Prozesse in der Finanzabteilung. Langfristig wird aber ein nicht unwesentlicher Anteil der Unternehmenskosten durch Inferenz entstehen und über den wirtschaftlichen Erfolg von KI mitentscheiden. Um dem zuvorzukommen, ist es sinnvoll schon jetzt die richtigen Weichen zu stellen, was Rechenkapazität, Skalierung und Kostenkontrolle angeht.

KI-Agenten machen Inferenz zum dauerhaften Kostenfaktor

Die Public Cloud bleibt ein zentraler Baustein der KI-Strategien von Unternehmen. Sie bietet schnellen Zugang zu Rechenleistung und besteht plötzlich mehr oder weniger Bedarf, wird diese schnell beim Hyperscaler seiner Wahl dazugebucht oder abbestellt – gut für einen unkomplizierten Einstieg in KI-Projekte. Laut aktuellen Zahlen einer Lenovo-Studie laufen 25 Prozent aller KI-Workloads in Deutschland in der Public Cloud. In Europa fällt der Anteil mit 18 Prozent geringer aus, da zum Beispiel hybride Infrastrukturmodelle für KI-Anwendungen beliebter werden.

Mit der Zunahme an Inferenz verschiebt sich die Diskussion nun weg von der reinen Verfügbarkeit von Infrastruktur zur Wirtschaftlichkeit einzelner Modellaufrufe. Kennzahlen wie Kosten pro Token oder Kosten pro Inferenzvorgang rücken statt den bisher gängigen FLOPS (Floating Point Operation Per Second) in den Vordergrund. Geht man von einem Hardware­erneuerungs­zyklus von fünf Jahren im Unternehmen und kontinuierlichen Inferenz-Workloads von über 20 Prozent aus, amortisiert sich On-Premises-Infrastruktur im Vergleich zur eingekauften Hyperscaler-Leistung bereits nach vier Monaten – bei vorherigen Zyklen waren es 12 bis 18 Monate.

Hybride Modelle gewinnen an Bedeutung

Nachdem in den letzten Jahren viele Unternehmen einer Cloud-first-Strategie gefolgt sind wird das Thema spätestens mit agentischer KI differenzierter betrachtet. Nicht jeder KI-Workload hat dieselben Anforderungen und erzeugt dieselbe Last. Nicht jeder verarbeitet dieselben Daten und muss unter dem Gesichtspunkt von Regulatorik, Datenschutz und Souveränität betrachtet werden. Die zentrale Infrastrukturfrage verschiebt sich also dahin, wo welcher Workload sinnvollerweise betrieben wird.

An dieser Stelle kommt das Konzept der hybriden KI ins Spiel. Diese beschreibt Architekturen, bei denen Anwendungen, Daten und Rechenleistung über verschiedene Umgebungen verteilt werden – abhängig von Kosten, Datenanforderungen, Latenz und Skalierungsbedarf.

So laufen zum Beispiel persönliche Assistenten oder kleine Sprachmodelle direkt über verschiedene Endgeräte, wie Laptops oder Smartphones. In der Industrie kommt Edge Computing zum Einsatz, um Latenzwerte in der Produktion oder Logistik möglichst niedrig zu halten. Gleichzeitig bleiben sensible Daten häufig in geschützten Unternehmensumgebungen, während rechenintensive Aufgaben oder große Foundation Models weiterhin auf die Public Cloud zurückgreifen.

Die reine Rechenleistung ist kein Maßstab mehr

Die Debatte um Cloud, Edge, On-Premises oder Endgerät greift jedoch zu kurz. Nicht nur die Umgebung ist entscheidend, sondern auch das Ressourcenmanagement. Agenten müssen innerhalb von festgelegten Leitplanken arbeiten. Dazu gehören zum Beispiel Begrenzungen bei den Modellaufrufen, Kontextfenster, Bearbeitungszeit oder Kostenbudget pro Workflow. Um den Überblick zu behalten und nachzuvollziehen welche Agenten, Prozesse oder Abteilungen welche Kosten verursachen, müssen Unternehmen in der Lage sein, Agenten auch in Echtzeit überwachen zu können. Hinzu kommt – ähnlich wie bei der Frage nach der richtigen Infrastruktur – die Frage nach dem richtigen Modell. Nicht jeder Prompt benötigt das beste und teuerste Modell. Stattdessen muss auch hier abgewogen werden, was zum Einsatz kommt.

Unternehmen müssen Transparenz schaffen, um die Verbindung zwischen Agententätigkeit und daraus resultierenden Kosten, sichtbar zu machen. Wie beim Cloud Computing entsteht die Vorteile nicht allein durch den schnellen Zugang zur Rechenleistung, sondern durch effiziente Steuerung und Nutzung. Voraussetzung dafür ist eine Analyse der Anwendungsfälle: Unternehmen müssen früh definieren, welche Prozesse künftig durch KI-Agenten unterstützt werden sollen. Auf dieser Grundlage lassen sich dann Infrastruktur, Bereitstellungsmodell und Governance sinnvoll planen.

Der Wettbewerbsvorteil entsteht durch den effizienten KI-Betrieb

Langfristig werden die Kosten pro Inferenz sinken – die Kosten für Inferenz insgesamt jedoch nicht. Effizientere Hardware, immer leistungsfähigere kleine Modelle und eine wachsende Anzahl an Open-Source-Alternativen machen einzelne Modellaufrufe günstiger. Mit der zunehmenden Verbreitung von Agenten und deren Integration in Geschäftsprozesse werden allerdings mehr Kosten entstehen, als durch Effizienzgewinne eingespart werden können.

Umso wichtiger ist es für Unternehmen, heute schon einen planbaren Rahmen bei Infrastruktur, Ressourcenmanagement und Kostenkontrolle zu treffen. Die nächste Phase der KI wird nicht durch immer größere Modelle entschieden, sondern durch die Fähigkeit von Unternehmen diese wirtschaftlich, sicher und skalierbar zu integrieren. Der langfristige Wettbewerbsvorteil entsteht nicht durch die reine Verfügbarkeit, sondern den effizienten Betrieb.

(ID:50914870)