Stream Analytics, Data Catalog und Event Hubs Diese Big-Data- und BI-Dienste bietet Microsoft Azure

In Microsoft Azure gibt es neben HDInsight noch einige weitere interessante Big-Data- und BI-Dienste, die sich in die eigene Infrastruktur einbinden lassen: Stream Analytics, Data Factory, Data Catalog und Event Hubs. Diese Dienste erlauben umfangreiche Datenanalysen und arbeiten mit HDInsight und anderen Azure-Diensten optimal zusammen.

Vorteil der verschiedenen Big-Data- und BI-Dienste in Microsoft Azure ist, neben der enormen Skalierbarkeit, leichten Bedienung und Flexibilität, auch die Zusammenarbeit untereinander. Sie können zum Beispiel Daten mit Stream Analytics von Sensoren oder Geräten auslesen und mit HDInsight weiterverarbeiten oder in Azure Data Lake speichern, damit andere Anwendungen auf die Dienste zugreifen dürfen.

Geht es um das Bearbeiten von Daten für Big Data, spielen vor allem die Bereich Sammeln, Analysieren, Speichern und die Weiterverarbeiten eine wesentliche Rolle. Sammeln lassen sich Daten von den verschiedenen Diensten wie Data Catalog, analysiert werden die Daten mit HDInsight und speichern lassen sich alle notwendigen Daten in BLOBs oder SQL DB.

Bildergalerie

Echtzeitdaten-Analyse mit Stream Analytics

Unternehmen, die vor allem Daten analysieren wollen, die ihren Ursprung im Internet of Things (IoT) haben, erhalten hierfür mit Microsoft Azure Stream Analytics einen mächtigen Dienst. Sie können eine Vielzahl an Sensoren, Geräte und Anwendungen anbinden und deren Daten analysieren. Neben IoT-Szenarien lassen sich mit Stream Analytics natürlich auch soziale Netzwerke wie Facebook oder Twitter analysieren.

Der Input für Stream Analytics kann direkt aus den Sensoren selbst kommen, aber auch aus Azure Blob Storage oder von Azure Event Hubs. Nach der Abfrage lässt sich das Ergebnis in Azure SQL DB speichern, aber auch wieder im Blob Storage. Die Daten lassen sich darüber hinaus mit Event Hubs weiterverarbeiten.

Mit Stream Analytics können Unternehmen mehrere Millionen Ereignisse in der Sekunde streamen und vorhersagbare Ergebnisse erstellen und verarbeiten. Die Umgebung bietet auch die Möglichkeit, Dashboards zu erstellen und mehrere Streams parallel zu untersuchen. Zwischen den Streams lassen sich Zusammenhänge erkennen, messen und visualisieren. Auslesen lassen sich die Daten mit einer SQL-basierten Sprache. Wie bei allen Azure-Diensten, lassen sich auch Stream Analytics-Funktionen nahezu uneingeschränkt kostenlos testen. Microsoft bietet Tutorials für den Einsatz an.

Erfassen, protokollieren und analysieren

Mit Stream Analytics lassen sich, zusammen mit Azure Event Hubs, Millionen von Ereignissen zahlreicher Geräte und Apps in jeder Sekunde erfassen, protokollieren und auch analysieren. Auch Daten aus der Vergangenheit und ungewöhnliche Muster können so erkannt werden. Beispielsweise können Unternehmen mit diesen beiden Diensten SIM-Fälschungen oder Kreditkartenbetrug erkennen und verhindern. Für den Betrieb ist keinerlei eigene Hardware oder Software notwendig, alle Daten sind in Microsoft Azure verfügbar.

Durch die sehr effizienten und belastbaren Daten, die Stream Analytics liefert, lassen sich auch Echtzeit-Aktienhandel, Analyse von Finanzinformationen, Betrugserkennungen im Online-Bereich, Webklicks, Messen der Kundenzufriedenheit und Vieles mehr analysieren. Microsoft bietet für interessierte Entwickler auch Beispiele an, mit denen sich eigene Szenarien aufbauen lassen. Das Erstellen eigener Abfragen ist relativ simpel, sobald Entwickler einen Überblick zu den Möglichkeiten von Stream Analytics haben.

Telemetrie auf Cloudebene

Microsoft Azure Event Hubs arbeitet eng mit Azure Stream Analytics zusammen. Auch hier lassen sich Millionen Ereignisse in Echtzeit erfassen und dokumentieren. So lassen sich Sensordaten oder Informationen von Webseiten mit Event Hub gesteuert erfassen, an Stream Analytics weitergeben, und auf Basis von SQL-Abfragen auslesen und von Anwendern konsumieren.

Unternehmen können zum Beispiel von nahezu beliebigen IoT-Geräten Informationen für Big-Data-Analysen abfragen. Das können komplexe Geräte sein, aber auch einfache Smartphone-Apps, die Daten zur Analyse versenden. Dadurch lassen sich Telemetriedaten von Benutzern erfassen.

Dazu kommt, dass sich die Geräte auch auf Basis von Autorisierung anbinden lassen und auch Drosselungen möglich sind, wenn zu viele Daten eingehen. Hinzu kommt die Möglichkeit, zeitbasierte Ereignisbuffer zu erstellen. Die erfassten Daten lassen sich in Echtzeit an ein Analysesystem weitergeben oder in Microsoft Azure für die spätere Analyse speichern. Durch die Unterstützung von AMQP und HTTP kann Event Hubs recht flexibel eingesetzt werden. Dazu kommen verschiedene native Client-Bibliotheken, welche die Anbindung sehr flexibel gestalten können.

(ID:43804212)