Mobile-Menu

Toms Wochentipp: Open-Source-KI konkurriert mit GPT-4 Meta veröffentlicht Llama 3.1

Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

Hyland Software Germany GmbH
Flexera Software GmbH
Yorizon GmbH & Co. KG

Meta hat Llama 3.1 405B als Open Source veröffentlicht. Das Modell soll ebenbürtig mit GPT-4 sein. Anscheinend will Meta jetzt noch stärker in den KI-Markt einsteigen.

Das neue Llama-Modell von Meta gilt als das leistungsfähigste des Unternehmens und soll neue Maßstäbe für offene KI-Systeme setzen.(Bild: kunakorn - stock.adobe.com)
Das neue Llama-Modell von Meta gilt als das leistungsfähigste des Unternehmens und soll neue Maßstäbe für offene KI-Systeme setzen.
(Bild: kunakorn - stock.adobe.com)

Mit Llama 3.1 405B stellt Meta die neue Version seines Large Language Models (LLM) als Open Source zur Verfügung. Das Modell soll laut Angaben von Meta locker mit GPT-4 von OpenAI mithalten können. Dieses Modell gilt als das leistungsfähigste des Unternehmens und soll neue Maßstäbe für offene KI-Systeme setzen.

Das steckt hinter Llama 3.1 405B

Mit einer erweiterten Kontextlänge von 128.000 Tokens und Unterstützung für acht Sprachen bringt Llama 3.1 bedeutende Verbesserungen mit sich. Das Modell soll Entwicklern neue Arbeitsabläufe ermöglichen, wie die Generierung synthetischer Daten und Modelldistillation. Meta stellt ein Referenzsystem zur Verfügung, das Entwicklern die Erstellung eigener Agenten und neuer Verhaltensweisen ermöglicht.

Unterstützt wird dies durch neue Sicherheits- und Schutzwerkzeuge wie Llama Guard 3 und Prompt Guard. Zudem wird eine RFC (Request for Comment) für die Llama Stack API veröffentlicht, um Drittanbietern die Nutzung der Llama-Modelle zu erleichtern.

Meta stellt Llama 3.1 405B zur Verfügung.(Bild: Joos - Meta)
Meta stellt Llama 3.1 405B zur Verfügung.
(Bild: Joos - Meta)

Das Llama-Ökosystem wird von über 25 Partnern unterstützt, darunter AWS, Nvidia, Databricks, Groq, Dell, Azure, Google Cloud und Snowflake. Llama 3.1 405B soll das erste offen verfügbare Modell sein, das mit den besten KI-Modellen hinsichtlich allgemeinen Wissens, Steuerbarkeit, Mathematik, Tool-Einsatzes und mehrsprachiger Übersetzung konkurrieren kann.

Zusätzlich zu Llama 3.1 405B stellt Meta auch verbesserte Versionen der Modelle 8B und 70B vor. Diese sind mehrsprachig und verfügen über eine erweiterte Kontextlänge von 128K. Entwickler können die Ergebnisse der Llama-Modelle nutzen, um andere Modelle zu verbessern. Diese Modelle stehen ab sofort auf llama.meta.com und Hugging Face zum Download bereit.

Llama 3.1 405B bietet Leistungsverbesserungen

Zur Leistungsbewertung wurden die Modelle auf etwa 150 Benchmark-Datasets getestet, die eine breite Palette von Sprachen abdecken. Die Ergebnisse zeigen, dass das Llama 3.1 405B mit führenden Modellen wie GPT-4 und Claude 3.5 Sonnet mithalten kann. Das Training von Llama 3.1 405B erfolgte auf über 15 Billionen Tokens. Meta hat dazu den gesamten Trainingsstack optimiert und über 16.000 H100-GPUs eingesetzt, um das Modell zu trainieren. Das Modell nutzt eine standardmäßige Decoder-Only-Transformatorarchitektur mit geringfügigen Anpassungen und durchlief mehrere Runden der iterativen Post-Training-Optimierung.

Für die finale Chat-Modell-Feinabstimmung wurden mehrere Runden der Alignment-Optimierung durchgeführt, wobei synthetische Daten zur Erzeugung hochwertiger Beispiele verwendet wurden. Diese Daten wurden sorgfältig gefiltert, um die Qualität sicherzustellen.

Llama-Modelle sind Teil eines Gesamtsystems, das mehrere Komponenten orchestrieren kann, einschließlich externer Werkzeuge. Meta veröffentlicht daher ein vollständiges Referenzsystem mit neuen Komponenten wie Llama Guard 3 und Prompt Guard. Diese Komponenten sollen der Entwicklergemeinschaft als Grundlage dienen.

(ID:50143004)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Cloud Computing

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte