„Big data, the cloud way“

Google erschafft cloud-basiertes Big-Data-Universum

| Autor / Redakteur: William Vambenepe * / Elke Witmer-Goßner

Google Cloud Dataflow als Beta-Version

Wir haben auf dem Hadoop Summit in Brüssel angekündigt, bei unseren Big-Data-Lösungen einen großen Schritt nach vorn zu machen – indem wir nun jedermann ermöglichen, Big Data über die Cloud zu nutzen. Heute verhindert nichts und niemand mehr, die Ablauflogik, angewandt im gewählten Streaming oder im Batch-Modus, über einen vollständig verwalteten Verarbeitungsservice laufen zu lassen.

Der Anwender schreibt einfach ein Programm, schickt es ab und alles Weitere erledigt Cloud Dataflow. Es müssen keine Cluster mehr verwaltet werden, da Cloud Dataflow die benötigten Ressourcen startet, diese automatisch (innerhalb der vorgegebenen Grenzen) skaliert und sie nach Ablauf der Prozesse wieder beendet. Man kann direkt starten.

Google BigQuery in europäischen Zonen verfügbar

BigQuery, der zentrale API-gesteuerte Cloud-Service für SQL-Analysen, bietet neue Sicherheits- und Leistungsfunktionen. So wird beispielsweise das Teilen von Daten durch die Einführung von Berechtigungen auf Zeilenebene einfacher und flexibler. Einfache Dateneinspielung (wir haben die Aufnahmegeschwindigkeit auf 100.000 Zeilen pro Sekunde und Tabelle erhöht), praktisch unbegrenzter Speicherplatz und die enorm hohe Abfrageleistung auch bei sehr großen Datenmengen machen BigQuery zur leistungsfähigen Plattform für die Speicherung, Analyse und gemeinsame Nutzung strukturierter Daten.

Außerdem unterstützt BigQuery doppelte Datensätze und Abfragen innerhalb von JSON-Objekten für lose strukturierte Daten. Ab sofort bietet BigQuery zudem eine neue Funktion zur Isolierung geographischer Daten, falls Daten in den europäischen Zonen von Google Cloud Plattform gespeichert werden sollen. Um diese Option zu nutzen, muss allerdings (nur) Googles technischer Support kontaktiert werden.

Umfassende Big-Data-Services

Google Cloud Pub/Sub ist ein vollständig verwalteter Dienst zur skalierbaren, zuverlässigen und schnellen Lieferung. Zusammen mit der interaktiven Dateneinspielung mit BigQuery und der Stream-Verarbeitung mit Cloud Dataflow sorgt dieser Dienst für eine umfassende Datenverarbeitung bei einer extrem niedrigen Latenzzeit. Die Google Cloud Platform ermöglicht die Verarbeitung von Kundenaktionsdaten, Anwendungsprotokollen oder IoT-Ereignissen in Echtzeit. Dabei übernimmt Google alle Skalierungs- und Administrationsaufgaben. Unternehmen können sich somit ganz darauf konzentrieren, was passieren soll, und nicht wie.

Hadoop, Spark, Flink und andere Open-Source-Tools, die ursprünglich als „On-Premise“-Lösungen gedacht waren, können zusammen mit Big Data über die Cloud weiter verwendet werden. Um das reichhaltige Open-Source-Big-Data-Universum weiterhin nutzen zu können, haben wir eigene Schnittstellen zu Google Cloud Storage und BigQuery sowie ein Tool zur automatischen Installation eines Hadoop/Spark-Clusters entwickelt

Bigtable – das Datenbanksystem, das hinter allem steht – mehr dazu hier:

Google startet Cloud Bigtable

NoSQL-Datenbank aus der Cloud

Google startet Cloud Bigtable

15.05.15 - Google bietet sein NoSQL-Datenbanksystem Bigtable, das auch hinter so populären Diensten wie der Google-Suche, Google Analytics oder Gmail steht, ab sofort als Dienst in der eigenen Cloud an. lesen

Weitblick schaffen

William Vambenepe, Google.
William Vambenepe, Google. (Bild: Google)

Die vereinfachte Darstellung (siehe Abb.) zeigt, wie die Datenverarbeitungsservices von Google Cloud Platform miteinander zusammenhängen und die Phasen der Datenverarbeitung unterstützen. Mit Hilfe einer Taucherausrüstung können Menschen unter Wasser arbeiten, erreichen jedoch nicht annähernd die Effizienz und Beweglichkeit von Meerestieren. Mit Big Data in der Cloud sind Unternehmen Delphine, keine Taucher!

* Der Autor William Vambenepe ist Product Manager bei Google.

Inhalt des Artikels:

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 43334720 / Datenbanken / Big Data)