LucidLink - Stream directly from the Cloud Files direkt auf Objektspeicher bearbeiten

Das US-Startupunternehmen LucidLink hat eine Möglichkeit gefunden, Daten direkt auf Public-Cloud-Objektspeichern zu bearbeiten. Das mühselige Herunter- und wieder Hochladen von Files bei jedem Bearbeitungsschritt hätte damit ein Ende.

Anbieter zum Thema

VMware Global Inc Zweigndl. Deutschland

Fujitsu Technology Solutions GmbH

Southern Tech GmbH

Amazon S3 und andere Objektspeicher mit S3-Schnittstelle haben aus Sicht der Anwender den Vorteil, große Files, die oft die Kapazität von E-Mails überschreiten, ohne viel Umstand von Ort zu Ort zu bewegen. Objektspeicher werden auch on premises eingesetzt, um diese Datenart zu speichern.

Allerdings haben die Lösungen eine ärgerliche funktionale Grenze: S3-kompatible Objektspeicher ohne weitere Protokollunterstützung ermöglichen nicht, die Files oder Datenobjekte in der Cloud respektive auf dem Objektspeicher zu bearbeiten, ohne das entsprechende Datenobjekt zuvor vollständig herunterzuladen. Denn auf dem S3-Speicher ist normalerweise schlicht kein Filesystem vorhanden, das den Zugriff eröffnen würde. Das ist besonders dann ärgerlich, wenn Files von mehreren Personen hintereinander bearbeitet werden müssen und deswegen immer wieder Up- und Downloads stattfinden und wenn die Downloadlinks nur begrenzte Bandbreite besitzen. Oft müssen deswegen teurer zusätzlicher Primärspeicher und Lösungen für Enterprise File Sharing eingesetzt werden.

Das US-Startup LucidLink hat jetzt eine Lösung dafür entwickelt, die derzeit bereits bei AWS eingerichtet ist. Sie eröffnet den Streaming-Zugriff auch auf Live-Produktionsdaten in S3-Speichersystemen, als ob sie auf primären Storage-Systemen lägen. Die Gründer, Peter Thompson, CEO, und George Dochev, CTO, arbeiteten viele Jahre zusammen bei Datacore, sind also mit dem Problem, Daten zu handhaben, bestens vertraut. „Wir haben rund ein Jahr in einer unserer Privatwohnungen gemeinsam entwickelt, ehe wir unser Team aufgebaut haben“, berichtet Thompson. Die derzeit zehn Mitarbeiter bringen Erfahrungen von VMware, Uber und Datacore mit.

Das Unternehmen hat soeben die zweite Finanzierungsrunde abgeschlossen und konnte 5,5 Millionen Dollar einwerben, in der ersten Runde waren es rund 18 Millionen Dollar. Zu den Beratern und Financiers gehört der Gründer und CTO von Nimble (inzwischen HPE), Umesh Maheswari, Mark Templeton, der soeben den CEO-Stuhl bei Citrix mit dem von Digital Oceans vertauschte, Steve Anderson von Baseline Ventures und Peter Ziebelman, Lehrbeauftragter in Stanford und Gründungspartner von Alto Ventures. Entwickelt wird in Bulgarien, da Dochev dort familiäre Wurzeln hat, den Entwicklermarkt kennt und die Landessprache beherrscht.

Zugriff über kostenlosen Client

Wie funktioniert die Lösung nun? Auf den Endgeräten der Kunden, in Unternehmen kann dies auch der Server eines Netzwerks sein, über den Webzugriffe erfolgen, wird ein Client installiert, der kostenlos auf der Website des Herstellers bereitsteht. Beim Installieren dieses Clients wird auch gleich ein Schlüsselpaar generiert, denn LucidLink arbeitet von Ende zu Ende verschlüsselt.

Der Client ver- und entschlüsselt File- und Metadaten bei Up- und Downloads vom oder zum Client. Außerdem richtet der Client auf dem Clientsystem einen persistenten Rückschreib-Cache ein, der ebenfalls verschlüsselt ist. Dieser sorgt zusammen mit den Metadaten dafür, dass häufig benutzte File-Ausschnitte, zum Beispiel eine einzelne Filmsequenz aus einem Datenobjekt, das einen Film enthält und editiert werden muss, tatsächlich nur einmal heruntergeladen wird. Auf diese Weise und durch Mechanismen, wie sie von Bandbreitenoptimierern bekannt sind, beschleunigt die Lösung auch lahme Links. Zu betonen ist aber, dass sie für Systeme gebaut wurde, die eine gewisse Verzögerung vertragen, nicht für Echtzeitumgebungen.

In der On-Premises- oder Public Cloud wird der Lucid Service eingerichtet, derzeit eine EC2-Instanz auf AWS. Beim Transport in Richtung Cloud-Speicher trennt Lucid Daten von Metadaten. Die Metadaten werden zwischen den Clients und dem Lucid-Serviceknoten synchronisiert, die Daten direkt in ein S3-Bucket überspielt. Metadaten-Instanz und Objektspeicher müssen sich bei AWS in derselben Region befinden.

Der Lucid-Service sorgt auch dafür, dass nicht mehr benötigte Objekte oder Objektteile aus dem S3-Objektspeicher verschwinden (Garbage Collection). Mögliche Konsistenz- und Skalierungsprobleme werden durch ein Log-strukturiertes Design aufgefangen. Gleichzeitiges Manipulieren an einem Datenobjekt ist allerdings nicht möglich.

LucidLink sieht sich damit im Schnittpunkt des Funktionsangebots von Lösungen für Enterprise File Sync und Share wie Box oder Dropbox, Cloud File Storage wie AWS oder Azure und Storage Gateways wie Nasuni, Avere oder Panzura. Installieren lässt sich das System auf jeder Public Cloud mit S3-Kompatibilität, aber auch auf Lösungen wie Cloudian, Ceph, Minio, SwiftStack oder Eucalyptus, die on premises eingesetzt werden. Es kann auf jedes Betriebssystem aufgespielt werden und unterstützt dann dessen Filesystem. Mobile Versionen sind in Vorbereitung.

Vielfältige Anwendungsmöglichkeiten

Derzeit sieht LucidLink den Anwendungsschwerpunkt bei Medien und Unterhaltung, Test und Entwicklung, letzteres, weil die Lösung sich gut eignet, um verteilte Workflows zu unterstützen. Während der Präsentation vor Journalisten in San Francisco wurde gezeigt, wie ein Nutzer aus San Francisco direkt auf in Bulgarien erzeugte und gespeicherte Filmclips zugriff und diese untertitelte.

Eine weitere wichtige Anwendung ist die Videoüberwachung, kombiniert mit der Analyse der Bilddaten. Die erste realisierte Lösung, die in Zusammenarbeit mit US-Regierungsinstitutionen entstand, spielt Videos direkt auf den LucidLink Filespace auf die US-Regierungs-Cloud, was den Aufwand der zur Videoüberwachung nötigen Prozesse stark reduziert. Diese Lösung erlaubt es zumindest theoretisch, zentral von einem beliebigen Standort aus die von global verteilten Kameras einlaufenden Bilder zu analysieren und auszuwerten, sprich die ganze Welt bequem mit Videokameras zu überwachen.

Ein eher genussorientierter Testkunde ist ein Zusammenschluss von zwölf Weingütern, die die Etiketten ihrer Weinflaschen, für diese Firmen wichtiges geistiges Eigentum, über einen Lucid-Filespace austauschen. Auch IoT-Umgebungen und maschinelles Lernen, beispielsweise das Training entsprechender Algorithmen unter Verwendung von Videofiles, können von der Technologie profitieren. Ein anderer Testkunde mit kann nun besser und schneller von jedem Standort aus auf seine umfangreichen Archivdaten zugreifen, ohne dafür lokal Storage bereitstellen zu müssen.

Das Preismodell

Gemanagte Kapazitäten werden für 0,05 GB/Monat abgerechnet, ein Testaccount mit 16 GB ist kostenlos für jeden über die Website erhältlich – S3-Store inklusive. Der Preis für die zugriffsfähige Speicherung von 1 TB pro Jahr auf AWS, was neben entsprechendem S3-Speicher auch entsprechende Instanzen von AWS Elastic File System (EFS) erforderlich macht, kostet rund 5.000 Dollar jährlich, bei LucidLink sind es stattdessen 895 Dollar jährlich für dieselbe Datenmenge.

Vertrieben werden soll LucidLink durch Selbstbedienungskunden über die Website, als Reseller wird an Managed Service Provider oder große Integratoren gedacht, zu denen man wohl auch die Anbieter von Web-Storage rechnen kann. Außerdem kann sich LiquidLink auch Co-Marketing-Initiativen mit Anbietern von Objektstorage und Software vorstellen.

Gründer und CEO Peter Thompson erklärt, wie LucidLink funktioniert.

Weitere Pläne von LucidLink

Wie dem auch sei: die technische Roadmap steht. Als einer der nächsten Schritte ist die Unterstützung von Microsoft Azure, die Live-Migration und Replikation zwischen verschiedenen Regionen und Clouds, automatische Snapshots, Audit-Funktionen und Mobilsupport geplant. Die Ziele sind hochgesteckt: „Wir wollen der Standard für Zugang zu verteilten Daten in der Cloud werden“, sagt Thompson. Nicht unwahrscheinlich ist allerdings auch, dass das noch sehr junge Unternehmen durch einen Aufkauf wieder schnell vom Markt verschwindet.

(ID:45402949)