Mobile-Menu

Künstliche Intelligenz an der Edge Akamai startet Plattform für dezentrale KI-Inferenz

Von Paula Breukel 1 min Lesedauer

Anbieter zum Thema

Akamai Technologies GmbH
Fsas Technologies GmbH
Nutanix Germany GmbH
Cloudgermany.de GmbH

Mit „Cloud Inference“ bringt Akamai die Nutzung trainierter KI-Modelle (künstliche Intelligenz) näher an den Endnutzer. Die Plattform soll Durchsatz und Effizienz steigern – und besonders bei latenzkritischen Anwendungen Vorteile bergen.

Ki und Cloud: Der Anbieter Akamai stellt seine Lösung für KI-Inferenz vor.(Bild: Starmarpro - stock.adobe.com)
Ki und Cloud: Der Anbieter Akamai stellt seine Lösung für KI-Inferenz vor.
(Bild: Starmarpro - stock.adobe.com)

Akamai hat mit „Cloud Inference“ eine neue Lösung vorgestellt, die KI-Inferenz effizienter machen soll. Der Dienst läuft auf der eigenen, weltweit verteilten Cloud-Infrastruktur. Die Cloud Inference richtet sich an Unternehmen, die große Sprachmodelle (LLMs) oder andere KI-Anwendungen produktiv einsetzen wollen. Laut Anbieter lassen sich mit der neuen Plattform ein bis zu dreifach höherer Durchsatz, bis zu 60 Prozent weniger Latenz und 86 Prozent geringere Kosten gegenüber klassischer Hyperscaler-Infrastruktur erzielen.

Kern des Ansatzes ist die Verlagerung der KI-Inferenz, also der Nutzung trainierter Modelle, näher an Endnutzer und Geräte. Besonders bei latenzkritischen Anwendungen wie Sprachsteuerung im Auto, virtueller Produktdarstellung oder der Echtzeitanalyse von Kundenfeedback soll die Lösung Vorteile bringen.

Technik-Stack für datenintensive Workloads

Cloud Inference kombiniert klassische und beschleunigte Rechenressourcen. Darunter GPUs (Graphic-Processing-Unit) und spezialisierte VPUs (Vision-Processing-Unit) mit einem Datenmanagement-System für KI-Workloads.

Dazu zählen ein skalierbarer Objektspeicher, Vektor-Datenbanken und eine enge Anbindung an Nvidia-Tools wie TensorRT. Ein containerisierter Ansatz mit Kubernetes sorgt für Portabilität und Skalierung. Serverlose Funktionen mit WebAssembly unterstützt die Lösung ebenfalls.

Hier kommt Cloud Inference zum Einsatz

Akamai sieht einen steigenden Bedarf für dezentrale KI-Infrastrukturen. Denn Daten entstehend zunehmend außerhalb klassischer Cloud-Zentren. Beispiele für erste Anwendungsszenarien auf der Plattform sind:

  • KI-gestützte Landwirtschaft,
  • Echtzeit-Bildverarbeitung,
  • automatisierte Texterstellung im E-Commerce.

Mit dem neuen Angebot will Akamai eigenen Angaben zufolge nicht in den Trainingsmarkt für große Modelle einsteigen, sondern sich auf performante und kosteneffiziente Inferenzlösungen konzentrieren – dort, wo KI-Modelle tatsächlich zum Einsatz kommen.

(ID:50378743)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Cloud Computing

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte