Information Builders parallelisiert Datenintegrationslösung mit Googles MapReduce-Algorithmus

iWay Parallel Service Manager beschleunigt Data Mining und ETL

08.04.2011 | Redakteur: Dirk Srocke

Information Builders hilft, Daten parallelisiert zu durchsuchen und aufzubereiten.

BI-Anbieter Information Builders hat den iWay Parallel Service Manager 6.1 vorgestellt. Die auf einem Enterprise Service Bus (ESB) basierende Datenintegrationslösung nutzt jetzt das von Google entwickelte MapReduce-Verfahren. Der Algorithmus soll das Data Mining sowie ETL-Prozesse (Extract Transform Load) beschleunigen.

Mit dem iWay Service Manager bietet Information Builders eine Datenintegrationslösung an, die auf einem Enterprise Service Bus (ESB) basiert. Das Werkzeug unterstützt unter anderem Web-Services, proprietäre Datenbanken und Branchenstandards. Unternehmen haben zudem Zugriff auf eine ereignisgesteuerte Integration sowie ein B2B-Integrationsmanagement. Mit dem jetzt integrierten Google MapReduce soll die Lösung effizienter arbeiten als bisher.

Der MapReduce-Algorithmus parallelisiert Arbeitsaufträge automatisiert. Input-Werte werden per Map-Funktion zu Zwischenergebnissen verarbeitet und anschließend per Reduce-Funktion komprimiert. Für Anwender bedeutet das: Datenbestände werden in parallelen Prozessen durchsucht und aufbereitet.

Gerald Cohen, CEO und President von Information Builders, erläutert: „Mit den neuen Funktionen des iWay Parallel Service Manager können sie jetzt Performance- und Skalierungsvorteile von MapReduce nutzen. Ein Request genügt, um die Ergebnisse zu erhalten - unabhängig von der Datenmenge und der Art der Datenquellen.“

In der Praxis ist eine gesteigerte Performance bei Data Mining oder ETL-Prozessen (Extract Transform Load) zu erwarten. Zudem unterstützt das Werkzeug EII-Szenarien (Enterprise Information Integration) mit verteilten Services, die parallel in unterschiedlichen Datenquellen durchgeführt werden.

Der iWay Parallel Service Manager 6.1 hilft außerdem beim Archivieren von Daten; auch das parallele Schreiben in Cluster-Umgebungen ist laut Anbieter möglich. Die Software unterstützt den Managed File Tansfer (MFT). Dabei werden Dateien parallel verarbeitet und verteilt.