Data Factory – skalierte Datendienste in Microsoft Azure

Mit Data Factory lassen sich wiederum Datendienste erstellen, planen und überwachen. Das ermöglicht das Verwenden von Pipelines, über die von verschiedenen Quellen Daten in Microsoft Azure eingehen und entsprechend analysiert werden. Data Factory kann den Status der Datenpipeline überwachen und visualisieren. Das ist vor allem daher sinnvoll, da Entwickler Quellen aus der Cloud und von lokalen Servern anbinden können. Vor allem beim Einsatz sehr vieler verschiedener Datenquellen ist es sinnvoll, diese erst in eine Art Ordnung zu bringen, für die Analyse vorzubereiten, gegebenenfalls zu transformieren und zu analysieren und danach für die weitere Analyse zu verwenden.

Bildergalerie

Data Factory bindet, einfach ausgedrückt, zahlreiche Quellen an und kann auf Wunsch bestimmte Daten auch gleich an beliebige Speicherorte für die Weiterbearbeitung verschieben (Data Movement-as-a-Service). Im Rahmen der Vorgänge lassen sich die Daten auch gleich transformieren und analysieren.

Die Daten lassen sich in HDInsight integrieren oder in Machine Learning anbinden. Dadurch lassen sich zahlreiche verschiedene Datenquellen effizient orchestrieren und in einer Pipeline einbinden. Die gesammelten Rohdaten werden über Pipelines an beliebige BI-Tools weitergegeben.

Alle Daten werden in einem zentralen Instrument visualisiert und sind auf diesem Weg auch überwachbar. Außerdem lassen sich zahlreiche Automatismen einbinden, welche die Verarbeitung der Daten noch verbessern.

Microsoft Azure Data Catalog

Azure Data Catalog hat ebenfalls die Aufgabe, verschiedene Datenquellen im Unternehmen oder der Cloud anzubinden und zur Analyse zur Verfügung zu stellen. Außerdem lässt sich festlegen, welche Anwender das Recht erhalten sollen, die verschiedenen Quellen zu analysieren. Auf die angebundenen Datenquellen können nicht nur Serverdienste zur Analyse zugreifen, sondern auch Anwender mit Excel und anderen Tools.

Auch Azure Data Catalog zeichnet sich dadurch aus, dass der Dienst mit anderen Diensten in Microsoft Azure zusammen funktioniert, aber auch Daten nach extern liefern kann, zum Beispiel zu PowerBI. Entwickler können die Daten jederzeit filtern lassen und mehrere Datenquellen zusammenfassen, mit Data Factory in Pipelines zusammenfassen und danach Anwendern zur Verfügung stellen. Data Factory bietet die Unterstützung für zahlreiche Quellen und kann dabei auch sehr detailliert vorgehen. Anwender müssen nicht unbedingt Zugriff auf eine komplette Datenbank erhalten oder alle Tabellen, Zeilen, Spalten oder Sichten. Administratoren können festlegen, welche Daten durch Anwender gelesen werden dürfen.

Im Gegensatz zu Data Factory kann Data Catalog aber keine Daten verschieben. Alle Daten bleiben in den Quellen, die an Data Catalog angebunden sind, nur die Konfiguration zur Anbindung der Datenquellen wird in der Cloud gespeichert. Anwender verbinden sich aber wiederum mit der Schnittstelle von Data Catalog in der Cloud. Im Hintergrund findet dann die authentifizierte und abgesicherte Verbindung zum entsprechenden Dienst statt, der die Daten tatsächlich speichert.

SQL Database Elastic Pool

Datenbanken im SQL Database Elastic Pool werden automatisch gesichert und bei der Wiederherstellung im gleichen Pool integriert. Die Elastic Pools in SQL Azure bieten die Möglichkeit, die Speichergrößen und Leistung für einen Pool an Datenbanken festzulegen. Administratoren können im laufenden Betrieb Datenbanken zu den Pools hinzufügen oder aus diesen entfernen. Entwickler und Administratoren können Datenbanken und deren Inhalt in Microsoft Azure verschlüsseln, wie Datenbanken auf lokalen SQL-Servern mit SQL Server 2014.

Die Verschlüsselung wird jetzt auch in Azure Storage unterstützt. Bei Azure SQL Data Warehouse handelt es sich um einen Data-Warehouse-as-a-Service-Dienst. Azure SQL Data Warehouse stellt seine Daten auch anderen Diensten zur Verfügung, kann aber auch aus den anderen Diensten Daten erhalten. Sinnvolle Beispiele dafür sind neben PowerBI in Office 365 auch HDInsight, Azure Machine Learning und Azure Data Factory.

Fazit

In Microsoft Azure gibt es zahlreiche Dienste, welche die Verarbeitung von Big Data deutlich effizienter gestalten, ohne auf eigene Hardware setzen zu müssen. Da die Dienste getrennt buchbar sind, können Unternehmen sehr flexibel darauf reagieren, welche Dienste sie einsetzen wollen. Um effizient Daten mit Microsoft Azure zu analysieren, sind also nicht alle Dienste auf einmal notwendig. Außerdem müssen die Daten weder in der Cloud gespeichert, noch in die Cloud übertragen werden. Alle Dienste arbeiten auch mit lokalen Serverdiensten zusammen, auch von anderen Herstellern.

(ID:43804212)