Die Modernisierung des Data Warehousing Zukunftsfähige Datenschätze heben

Autor / Redakteur: Thomas Heuer* / Elke Witmer-Goßner

Früher bedeutete die Implementierung eines Data Warehouse die Entscheidung zwischen Datenqualität oder geschäftlicher Agilität. Damals waren firmeninterne Data Warehouses enorm teuer, der Aufbau dauerte Jahre und kostete Millionen. Organisationen wurden auch durch die Implementierung entmutigt.

Firma zum Thema

Mit einer Automation-First-Philosophie bei der Entwicklung von Data Warehouses können veraltete Entwicklungsmethoden und -praktiken korrigiert werden.
Mit einer Automation-First-Philosophie bei der Entwicklung von Data Warehouses können veraltete Entwicklungsmethoden und -praktiken korrigiert werden.
(Bild: © vegefox.com - stock.adobe.com)

Denn IT-Teams mussten abschätzen, wie viel Speicher- und Rechenleistung erforderlich sein würde: Kauften sie zu wenig Hardware, wurde der Platz knapp; kauften sie zu viel, verschwendete dies enorme Summen für ungenutzte Ressourcen wie beispielsweise Speicher. Diese Problematik ist zu einem vertrauten Thema für Fachkräfte geworden, die Erfahrung mit der Entwicklung von Data Warehouses haben.

Und die Herausforderungen nehmen weiter zu: Laut eines Reports von IDC wird die Datenerzeugung bis 2025 auf enorme 163 Zettabytes (ZB) anwachsen – und damit auf das Zehnfache der im Jahr 2017 produzierten Datenmenge. Folglich steht die Entwicklung von Data Warehouses unter Modernisierungsdruck. Dieser Prozess kann eine Reihe von Zielen umfassen: von der Neuausrichtung auf aktuelle Geschäftsziele und der Bereitstellung von Daten für bestehende und zukünftige Geschäftsfälle, bis hin zur Nutzung neuer Plattformen und datengesteuerter Tools.

Darüber hinaus zielen Modernisierungsstrategien darauf ab, neue Best Practices für das Datenmanagement zu implementieren und die Data-Warehouse-Teams und -Fähigkeiten anzupassen. Andere Strategien konzentrieren sich auf die Notwendigkeit, die Einschränkungen bezüglich Skalierbarkeit, Geschwindigkeit, Funktionalität und Agilität zu beheben.

Unzulänglichkeiten traditioneller Ansätze beheben

Die Automatisierung wird zu einem zentralen Bestandteil dieses Prozesses, da sie die Werkzeuge bereitstellt, die für den Entwurf, die Entwicklung und die Verwaltung von Data Warehouses erforderlich sind. Mit einer Automation-First-Philosophie bei der Data Warehouse-Entwicklung können Entwickler veraltete Entwicklungsmethoden und -praktiken korrigieren. Auf diese Weise wird es möglich, die Unzulänglichkeiten traditioneller Ansätze zu beheben, bei denen Produktivität, Flexibilität, Wiederverwendung und Einhaltung von Standards begrenzt sind.

Dabei geht es aber nicht nur darum, wie viele Daten gespeichert und verarbeitet werden können oder wie schnell daraus Mehrwert gezogen werden kann. Das Hinzufügen von Data Warehouse-Automatisierungssoftware vereinfacht auch die Entwicklung, um sowohl Aufwand als auch Risiko bei Datenintegrations- und Infrastrukturprojekten zu minimieren. Dadurch können Unternehmen ihre Anstrengungen und Ressourcen auf die Bereitstellung von Analysewerten für ihre Geschäfte konzentrieren.

Cloud Data Warehousing für wachsende Datenmengen

Die wichtigste Voraussetzung für die Infrastruktur ist jedoch die Einführung von Cloud Data Warehousing als Lösung zur Bewältigung wachsender Datenmengen. Ein Cloud Data Warehouse ist ein Datenbankservice, der online von einem Public-Cloud-Anbieter gehostet wird. Es verfügt über die Funktionalität einer firmeninternen Datenbank, wird jedoch von einer Drittpartei verwaltet, kann per Fernzugriff aufgerufen werden, und sein Speicher und seine Rechenleistung können bei Bedarf sofort reduziert oder erhöht werden. Im Gegensatz zu herkömmlichen Ansätzen versetzen diese cloud-basierten Dienste Unternehmen in die Lage, nur für die Ressourcen zu zahlen, die sie benötigen.

Cloud-Data Warehousing bringt zusätzliche Vorteile für analytische Dateninfrastrukturen, von Agilität und Kosteneffizienz bis hin zu Skalierbarkeit und Leistung. Insbesondere der Aufbau eines cloud-basierten Data Warehouses mit den Vorteilen der Automatisierung ermöglicht es Endbenutzern, neue Analysekomponenten zu entwerfen oder zu prototypisieren, ohne dass Unternehmen große Summen für die Infrastruktur ausgeben müssen. Dies beschleunigt neue Infrastrukturprojekte und erhöht die Entwicklungs- und Betriebsfähigkeiten.

Kriterien bei der Auswahl

Die Entscheidung für eine Cloud Data Warehouse-Lösung sollte mit einer Kostenanalyse beginnen, um abzuschätzen, wie viel das Unternehmen dadurch sparen könnte. Verschiedene Cloud-Anbieter, wie etwa Amazon und Microsoft, haben unterschiedliche Preisstrukturen, die Knoten und Cluster vermieten, sodass jeder Benutzer über einen definierten Abschnitt des Servers verfügt. Dies macht die Preisgestaltung vorhersehbar und konstant, kann aber insofern ein Nachteil sein, als gemeinsam genutzte Server manchmal gewartet werden müssen.

Andere moderne cloud-basierte Data Warehouse-Plattformen wie Snowflake bieten eine elastische Rechenfunktionalität, mit der Unternehmen sicherstellen können, dass sie problemlos anpassen können, wo und wie die Ressourcen (zum Beispiel die Kosten), genutzt werden. Das letztendliche Ziel ist es, Design, Entwicklung, Bereitstellung und Betrieb von Data Warehouses schneller und kostengünstiger zu machen, sodass Teams Projekte innerhalb von Stunden und Tagen liefern können.

Jeder Cloud-Anbieter verfügt über eine eigene Suite mit unterstützenden Tools für Funktionen wie Datenmanagement, Visualisierung und prädiktive Analysen, sodass diese Bedürfnisse bei der Entscheidung über den zu verwendenden Anbieter berücksichtigt werden sollten. Durch das Verständnis der Optionen, die bei der Modernisierung der Data Warehouse-Entwicklung zur Verfügung stehen, können Organisationen effektive Strategien entwickeln, die nicht nur die Auswahl von Tools und Datenmigrationsprozessen optimieren, sondern auch eine effektive Koordination zwischen Teams und Beteiligten aufbauen.

Thomas Heuer, WhereScape.
Thomas Heuer, WhereScape.
(Bild: WhereScape)

Unternehmen, die ein Data Warehouse effektiv implementiert haben, werden in der Lage sein, den Zustrom großer Datenmengen optimal zu verwalten, manuelle Prozesse zu automatisieren und die Rentabilität von Cloud-Investitionen voll auszuschöpfen.

* Der Autor Thomas Heuer ist Senior Account Director DACH bei WhereScape.

(ID:47121656)