Pivotal, einer der Pioniere unter den Anbietern von Hadoop-Distributionen, will die Kernkomponenten seines Big-Data-Portfolios unter einer Open-Source-Lizenz verfügbar machen.
Mit einem offenen, agilen und Cloud-fähigen Big-Data-Portfolio will Pivotal eine Antwort auf die größten Herausforderungen der Branche geben: hohe Datenfragmentierung und Herstellerabhängigkeit.
(Bild: Pivotal)
Pivotals Hadoop-Distribution „Pivotal HD“ ist seit 2013 auf dem Markt. Die EMC-Tochter will die Big Data Suite nun unter einer Open-Source-Lizenz frei verfügbar machen. Neben reinen Hadoop-Distributionen wie Cloudera, MapR oder Hortonworks Data Platform (HDP) und denen der Software-Stack-Anbieter wie IBM oder Microsoft, zeichnet sich die Hadoop-Distribution eines Spezialisten für Speicherlösungen wie Pivotal vor allem durch diverse Optimierungen für die eigenen Speichersysteme aus.
Pivotals Big Data Suite
Seit vergangenem Jahr bündelt Pivotal die Hadoop-Distribution Pivotal HD mit weiteren Komponenten aus dem Big-Data-Portfolio zur Pivotal Big Data Suite. Jetzt will Pivotal die Big Data Suite um weitere Komponenten ergänzen und unter einer Open-Source-Lizenz frei zugänglich machen.
Damit sollen dann auch die Pivotal Greenplum Database und Pivotal HAWQ als erweiterte Analyse-Werkzeuge sowie eine Reihe skalierbarer Apps und Services, darunter Pivotal Gemfire, zur Pivotal Big Data Suite stoßen.
In der Produktankündigung spricht Pivotal nicht unbescheiden von „der weltweit ersten Open-Source-basierten Big Data Product Suite der Enterprise-Klasse“.
Die Komponenten von Pivotal Big Data Suite
(Bild: Pivotal)
Neue Services
Greenplum ist Pivotals Data-Warehouse- und Analyseplattform, Gemfire Pivotals InMemory-NoSQL-Datenbank und hinter Pivotal HAWQ verbirgt sich Pivotals SQL-on-Hadoop-Engine.
Darüber hinaus soll Pivotals Big Data Suite um weitere Anwendungsservices ergänzt werden. So erweitert Pivotal seine Big Data Suite auch um Datenservices für das Verwenden von Anwendungen, die in Pivotals Open-Cloud-Plattform CloudFoundry „as-a-service“ laufen und integriert dazu den Pivotal Cloud Foundry Operations Manager.
Ferner enthält Pivotals Big Data Suite mit Spring XD ein verteiltes, skalierbares Open Source Framework, das für die Datenaufnahme, Batch-Analyse und die analytische Pipeline-Verarbeitung zuständig ist. Mit an Bord sind außerdem die skalierbare Open-Source-KeyValue-Datenbank Redis und der skalierbare Message Broker RabbitMQ. Die Pivotal Big Data Suite unterstützt Standard-Hardware-Systeme, eine anwendungsbasierte Bereitstellung, virtualisierte Serverinstanzen sowie Public-, Private- und Hybrid-Clouds.
Laut Sundeep Madra, Vice President der Data Product Group bei Pivotal, ist Pivotals Big Data Suite ein wichtiger Meilenstein, wenn es darum geht, große Datenmengen für Unternehmen zugänglich zu machen: „Indem wir die Fähigkeiten von Pivotal HD, HAWQ, Greenplum Database und GemFire mit der Open Source Community teilen, stellen wir dem gesamten Markt die Komponenten zur Verfügung, die für die Entwicklung von Lösungen für die Dateninfrastruktur der nächsten Generation notwendig sind. Die Bereitstellung dieser Technologien als Open-Source-Projekte beschleunigt die Akzeptanz der Lösung.“
Zwischen den Zeilen
Die 2012 gemeinsam mit VMware ausgegründete EMC-Tochter reagiert mit der Maßnahme zweifelsohne auf die zunehmende Popularität der führenden Hadoop-Protagonisten Hortonworks und und Cloudera. Außerdem zieht Pivotal offenbar auch Konsequenzen aus der von EMC verordneten Streichung zahlreicher Jobs im Big-Data-Bereich in Folge von Umstrukturierungsmaßnahmen der Konzernmutter, auch wenn Pivotal mit seiner PaaS-Plattform CloudFoundry 2014 ein Rekordjahr hatte.
Das lässt sich zumindest zwischen den Zeilen lesen, wenn man zwei weitere Mitteilungen von Pivotal sowie Äußerungen führender Pivotal-Manager in deren Blogs hinzuzieht. Zwar lässt Madra verlauten, Pivotal wolle sein Engagement im Big-Data-Markt keineswegs reduzieren, sondern in erster Linie einen anderen Marktzugang suchen, so wie man es auch mit dem PaaS-Angebot CloudFoundry gemacht habe, als man Cloud Foundry Ende vergangenen Jahres unter eine Open-Source-Lizenz gestellt habe, trotzdem kann man sich des Eindrucks nicht erwehren, Pivotal reagiere eher auf die durch Hortonworks & Co geschaffenen Fakten.
Open Source soll neuen Marktzugang schaffen
Nach den Vorstellungen von Pivotal kann die Community die grundlegende Weiterentwicklung von CloudFoundry und künftig auch der Big Data Suite vorantreiben, während Pivotal Geld mit seiner mit erweiterten Funktionen ausgestatteten eigenen Distribution sowie beim Support verdient, etwa für Bare Metal Commodity Hardware, vorkonfigurierte Appliances, virtualisierte Instanzen und für Public, Private und Hybrid Clouds.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Gleichzeitig nehme man den Kunden so die Sorge vor einer Lock-in-Situation, denn einer der Vorteile der Pivotal Big Data Suite besteht darin, dass als Hadoop-Framework keineswegs nur Pivotal HD, sondern auch jede andere Distribution zum Einsatz kommen kann. Dazu Madra weiter:„Durch das Teilen von Pivotal HD, HAWQ, Greenplum DB und GemFire mit der Open Source Community können wir gemeinsam Lösungen schaffen, die für alle Datenanforderungen passen. So entstünden im Umfeld der Pivotal-Technologien jetzt weitere Open-Source-Projekte, was die weitere Innovation beschleunige und für eine größere Akzeptanz beim Kunden sorge.“
Sundeep Madra, Pivotal
(Bild: Pivotal)
Wie sich der Prozess der Open-Source-Stellung genau gestaltet, scheint noch nicht ganz klar. Offenbar sollen Gemfire und HAWQ unter die Open-Source-Lizenz der Apache Software Foundation (ASF) gestellt werden. Da Greenplum im Prinzip auf der Open-Source-Datenbank PostgreSQL basiert, beabsichtigt Pivotal, gemeinsam mit der PostgreSQL-Gemeinschaft ein passendes Lizenzmodell zu erarbeiten.
Neue Initiative: Open Data Platform
Darüber hinaus verkündet Pivotal, dass man sich als Reaktion auf Kunden- und Marktanforderungen für eine Vereinheitlichung im Bereich Big Data in Form der Open Data Platform mit anderen Branchenführern zusammenschließen wolle, um Kunden eine stabile, sichere und interoperable Grundlage zur Verfügung zu stellen, auf der sie aufbauen können. Bisher haben sich Hortonworks, Pivotal , IBM, GE, Infosys und SAS als Platin-Mitglieder der Open-Data-Platform-Initiative angeschlossen; EMC, VMware , Altiscale, Capgemini und Verizon Enterprise Solutions sind „Gold“-Mitglieder.
Gemeinsamer Open Data Kernel
Hauptziel der Allianz soll sein, die Komplexität von Hadoop- und anderen Big-Data-Lösungen zu verringern. Aus Herstellersicht geht es bei der Open Data Platform (ODP) aber auch darum, etwaige doppelte Entwicklungen an den Basis-Technologien oder sich überlappende Funktionalitäten so weit wie möglich zu vermeiden.
Ziel der Initiative soll ein gemeinsamer und von allen Mitgliedern getesteter ODP-Kern aus Apache Hadoop, Apache Ambari und weiteren Apache-Technologien sein. Apache Ambari beispielsweise vereinfacht das Bereitstellen, Verwalten und Überwachen von Hadoop-Clustern durch ein modernes, webbasiertes Backend, das auf Ambaris RESTful APIs aufsetzt.
Eine weitgehend standardisierte Big-Data-Basis-Plattform könnte das fortschreitendes Fragmentieren der momentanen Entwicklungen verhindern und es den Anwendungs-Anbietern erleichtern, sich auf Ihre Entwicklungen zu konzentrieren, denn Apps und Tool, die auf Basis eines solchen ODP-Kerns entwickelt würden, würden dann auf allen kompatiblen Systemen laufen oder sich zumindest gut integrieren lassen.
Laut Shaun Connolly, Vice President of Corporate Strategy bei Hortonworks, sind eine Initiative wie Open Data Platform und ein Open-Source-Entwicklungsmodell der besten Weg zur Beschleunigung von Innovationen und zur Adoption von Plattform-Technologien wie Hadoop. Connolly wörtlich: „Die Open Data Platform Initiative stellt Enterprise-Endkunden und Anbieter gleichermaßen eine klar definierte gemeinsamen Kernplattform zur Entwicklung und Qualifizierung von Big-Data-Lösungen zur Verfügung. Ein kostenloses Big-Data-Ökosystem ermöglicht es Unternehmen, sich künftig ganz auf den Einsatz und Entwicklung datengesteuerter Anwendungen zu konzentrieren, um proaktive Erkenntnisse zu gewinnen.
Shaun Connolly, Hortonworks
(Bild: Hortonworks)
Auch Pivotals Scott Yara, President and Head of Products, ist dieser Ansicht: „Während die einzelnen Technologien durchaus gedeihen, hinkt das gesamte Big-Data-Ökosystem mangels einer organisierende Kraft hinterher. Der offene Zusammenschluss führender Anbieter, Dienstleister und Anwender von Apache Hadoop erlaubt eine Konzentration auf die Bedürfnisse der Unternehmen. Die Open Data Platform reduziert die Fragmentierung und beschleunigt Entwicklung und Innovation innerhalb des Hadoop-Ökosystem.“
Scott Yara, Pivotal
(Bild: Pivotal)
Kooperation zwischen Pivotal und Hortonworks
Ergänzend zu seinem Open Data Platform Engagement schließt Pivotal eine direkte strategische Allianz mit Hortonworks, um die Einführung von Apache Hadoop für Unternehmen zu vereinfachen. Dabei geht es unter anderem darum, dass auf Hortonworks Data Platform auch erweiterte Pivotal-Dienste wie Pivotal HAWQ laufen. Allgemein sollen Dienste wie SQL on Hadoop oder Pivotals Datenbank- und NoSQL-InMemory-Technologien unter Hortonworks Data Platform verfügbar werden.
Im Gegenzug will Hortonworks Support für die Hadoop-Distribution Pivotal HD 3.0 anbieten. Dabei darf man sicher spekulieren, ob es Pivotal auf lange Sicht tatsächlich nur um eine reibungslose Zusammenarbeit der eigenen Technologien mit der führenden Hadoop-Plattform von Hortonworks geht, oder ob Pivotal seine eigene Big-Data-Distribution sogar irgendwann aufgibt.