Amazon Simple Storage Service S3 Wege in die hybride Cloud

Seit der Einführung des AWS-Webspeicherservices S3 (Simple Storage Service) hat sich die S3-Schnittstelle als ein De-facto-Standard der Datenspeicherung im Web etabliert. Immer mehr Hersteller bieten S3-Schnittstellen für ihre Speichersysteme an.

Anbieter zum Thema

Arvato Systems

Fujitsu Technology Solutions GmbH

Schwarz IT KG

Amazon.de GmbH

Seit 2006 bietet AWS neben seinen Computing-Services auch den Speicherdienst S3 an. Mit Erfolg: Allein zwischen dem dritten Quartal 2014 und dem dritten Quartal 2015 hat sich der Datentransfer von AWS S3 gut verdoppelt.

„Wir speichern Billionen von Objekten, und verarbeiten regelmäßig Milliarden von Requests“, sagt Constantin Gonzalez, Principal Solutions Architect bei AWS.

Globaler Speicherservice

AWS hat die Technologie hinter S3 selbst entwickelt. „Wir brauchten eine Speicherschnittstelle und eine Technologie, die für einen weltweit verfügbaren Speicherservice aus dem Internet taugte. Dafür eignete sich keines der bisherigen Speicherprotokolle“, berichtet Gonzalez.

Warum das?

• NFS (Network File System) wurde für Arbeitsgruppen entwickelt. Deshalb stoße der Dienst bei zu vielen Teilnehmern schnell an Grenzen.

• Bei Fibre Channel scheitere die Übertragung übers Web schon allein an den engen Latenzzeiten, die sehr sinnvoll für die Aufgaben sind, für die das Protokoll konzipiert ist: die zuverlässige Datenlieferung aus Inhouse-SANs an Server mit unterschiedlichen Applikationen, darunter auch solchen, die zeitkritische Transaktionen abwickeln.

„Wenn man im Web arbeitet, muss man jedoch die spezifischen Bedingungen einer verteilten, globalen Infrastruktur berücksichtigen“, sagt Gonzalez. Und "http" sei nun einmal das einzige Protokoll, was zuverlässig nicht in der Firewall hängenbleibe – weil sonst die gesamte Web-Kommunikation nicht funktioniert.

Mit S3 habe man einen Service entwickelt, der http spricht und das Firewall-Problem umgeht. Wie http verwendet S3 die Befehle "Get" (für den Download) und "Put" (für den Upload). Zudem erhalte jedes Speicherobjekt eine http-Adresse genau wie Webseiten.

Bildergalerie

Globale Trittbrettfahrer

AWS ist hinsichtlich seiner Schnittstelle offen – man findet sie inzwischen an zahlreichen Speichersystemen und Softwarelösungen, die spezifische Speicher- und Zugriffsaufgaben erfüllen sollen. Beispielsweise hat

• Filer-Spezialist Netapp S3 im Programm,

• Oracle ermöglicht das RMON-Backup über S3,

• Hitachi hat seine Content-Plattform (HCP) mit S3 ausgerüstet,

• Panzura, ein Softwarespezialist für die gemeinsame Bearbeitung großer Dateien im Web, ermöglicht ebenfalls die S3-Nutzung,

• auch Riverbed rüstet sein Cloud-Storage-Gateway mit S3 aus

• und EMCs Datalakes auf Isilon-Basis sind seit dem neuesten Release des Betriebssystems One FS 8.0 ebenfalls mit S3-Fähigkeit ausgestattet.

Motor dieser Entwicklung ist der Wunsch vieler Anwender, hybride Clouds aufzubauen, die einerseits auf Public-Cloud-Services (wie eben S3) zugreifen, andererseits Private-Cloud-Anteile direkt im Unternehmen haben.

Übereinstimmend glauben Marktforscher, dass dieses Konzept die Unternehmens-IT in den nächsten Jahren dominieren wird. Da können auch etablierte Speicheranbieter nicht außen vor bleiben.

Geo-Dislokation verspricht Datenverfügbarkeit

Eher verschlossen gibt sich Amazon hinsichtlich seiner RZ- und Systemarchitektur. Der Dienstleister hat seine Rechenzentrumsstandorte in geografische Zonen aufgeteilt. Daten werden grundsätzlich in mehreren Zonen redundant gehalten, hinzu kommt die Redundanz innerhalb des Rechenzentrums.

Insgesamt werden alle Daten auf mehrere Server so verteilt, dass im Regelfall weder der Ausfall eines Rechenzentrums noch der Ausfall eines Servers zu Datenverlusten führen kann: Der verlorene Datenbestand eines zerstörten Servers oder Rechenzentrums lässt sich aus den an den übrigen Orten gehaltenen Daten schnellstens wieder aufbauen.

So kommt es, dass AWS S3 hinsichtlich des Verlusts von Objekten in seinem Standard-Speicherdienst sagenhafte elf Neunen garantiert. Gonzalez: "Das bedeutet, dass rein statistisch bei zehntausend gespeicherten Objekten nur alle zehn Millionen Jahre eins verloren gehen könnte." Hinsichtlich der Verfügbarkeit der Infrastruktur verspricht AWS vier Neunen (99,99 Prozent).

Im Gitter speichern

Aufbau und Speicherverfahren entsprechen den Prinzipien des sogenannten Grid Storage, wie sie von diversen Startups bei den Speichermessen der vergangenen Jahre immer wieder vorgeführt wurden. Auf die Standardprodukte von Herstellern ist AWS aber nicht angewiesen.

Gonzalez: "Wir lassen uns von den Herstellern maßgeschneiderte Systeme bauen, haben aber die kritische Masse erreicht, so dass wir auch Basistechnologien selbst entwickeln könnten." Ob AWS dies tatsächlich tut oder anstrebt, verrät der Manager nicht. Auch nicht, ob und zu welchen Anteilen AWS SSD-Speicher oder gar bereits 3D-NAND-Speicher verwendet. Wahrscheinlich aber schon, und zwar in beträchtlichem Umfang.

Hinsichtlich der verfügbaren Speicherklassen hat S3 sein Angebot im Lauf der Jahre immer weiter ausdifferenziert. Aktuelle Neuerung (seit Herbst 2015) ist die Klasse S3-IA (Infrequent Access) für große Datenmengen, die selten angefragt werden. Sie eigne sich, so Gonzalez, besonders für Backups. Die Verfügbarkeit gibt das Unternehmen jedoch mit nur 99,9 Prozent an.

(ID:44073150)