Im Test: Talend Integration Cloud

Cloud-basierte Datenintegration mit leistungsfähiger Entwicklungsumgebung

| Autor / Redakteur: Dr. Götz Güttich * / Florian Karlstetter

Talend Integration Cloud im Test: Cloud-basierte Datenintegrationslösung mit leistungsfähiger Entwicklungsumgebung.
Talend Integration Cloud im Test: Cloud-basierte Datenintegrationslösung mit leistungsfähiger Entwicklungsumgebung. (Bild: Talend)

Mit der Talend Integration Cloud stellt Talend eine sichere, Integrationsplattform auf Cloud-Basis zur Verfügung, mit der die Anwender in die Lage versetzt werden, ihre Anwendungen in der Cloud oder on-premise miteinander zu verbinden und Daten zwischen ihnen zu übertragen.

Die Lösung bietet im Browser nutzbare grafische Entwicklungswerkzeuge sowie vorgefertigte Integrationsaktionen, Flow Templates, Komponenten und Konnektoren. Diese machen die Integration der Daten einfach. Für anspruchsvollere Entwicklungsaufgaben steht zudem das „Talend Studio for Cloud“ bereit, das lokal auf dem Rechner des Benutzers läuft und direkt mit der Cloud kommuniziert. Wir haben uns im Testlabor angesehen, wie die Arbeit mit der Cloud von Talend abläuft.

Der Test lief bei uns folgendermaßen ab: Nachdem wir von Talend die Zugangsdaten zu unserem Cloud-Account erhalten hatten, machten wir uns mit dem Web-Interface der Lösung vertraut. Danach ging es daran, Daten von einem System in ein anderes zu übertragen. Dabei behielten wir den Entwicklungs- und Arbeitsaufwand sowie die Bedienerführung im laufenden Betrieb im Auge. Zum Schluss setzten wir das Talend Studio for Cloud ein, um eigene Komponenten zu entwickeln, in die Cloud hochzuladen und in unseren Flows zu verwenden.

Der Beginn der Arbeit

Nach dem Login beim Webinterface der Talend Integration Cloud findet sich der Anwender zunächst einmal auf einem Willkommensbildschirm wieder, der Einführungsvideos mit Informationen über die Integrationsumgebung enthält. Aktuelle News, eine Aktivitätsübersicht und ein Hinweis auf Talend Exchange, die Online-Börse zum Austausch der von den Usern entwickelten Komponenten, schließen den Leistungsumfang der Willkommensseite ab.

Besonders interessant ist die zweite Seite des Web-Interfaces. Sie nennt sich „Flows“ und umfasst alle im System vorhandenen Data Flows. Wechseln die Anwender auf einen Flow-Eintrag, so zeigt das System ihnen an, wie oft der Flow abgearbeitet wurde, ob er gerade aktiv ist und ob alles glatt lief oder ob es zu Rejections oder Failures kam. Darüber hinaus haben die Benutzer hier auch die Option, Läufe zu starten und zu stoppen.

Der Flow Builder

Um die Flows zu bearbeiten, steht der so genannte Flow Builder bereit. Dieses Tool ermöglicht es den Anwendern, dem Flow Datenquellen und -senken hinzuzufügen und Funktionen wie Mapper oder auch Daten-Standardisierer und Validier einzubinden. Damit ist es möglich, die Daten an das Format des Zielsystems anzupassen und um Informationen wie beispielsweise Postleitzahlen zu ergänzen.

Da es sich beim Flow Builder um die webbasierte Entwicklungsumgebung der Integration Cloud handelt, ist es sinnvoll, an dieser Stelle etwas genauer auf die Arbeit mit dem Werkzeug einzugehen. Möchte ein Anwender einen neuen Flow erzeugen, so hat er mit dem Tool die Möglichkeit, dem Flow zunächst einmal einen Namen zu geben.

Im Test wollten wir zu diesem Zeitpunkt die Inhalte einer Excel-Tabelle in unseren Salesforce-Account hochladen. Wir nannten den Flow also „Migration from Excel to Salesforce“ und gaben ihm bei der Gelegenheit auch gleich eine kurze Beschreibung mit. Anschließend wählten wir unter „Choose a Source“ unsere Excel-Datei als Datenquelle aus. Da sich diese in einem Dropbox-Konto befand, selektierten wir als Quell-Icon den Eintrag „dopbox_file_download_source“ und gaben unserer Quelle den Pfad zur Datei innerhalb der Dropbox und das passende Dropbox Access-Token an. Danach ging es daran, die Informationen aus der Excel-Datei so umzuwandeln, dass das System sie modifizieren konnte. Dazu kam der Eintrag „xlsx_file_toColumns_process_step“ zum Einsatz. Dieser wandelte, wie der Name schon sagt, die in dem Excel-File vorhandenen Einträge in Spalten um. Zu diesem Zeitpunkt konnten wir unter „Preview Data“ bereits sehen, welche Daten in dem Sheet vorhanden waren. Bei den genannten Spalten handelt es sich um das interne Format der Integration Cloud. In diesem Format werden die Daten im Speicher gehalten und gestreamt.

Im nächsten Schritt definierten wir unser Ziel, also unseren Salesforce-Account. Hierfür verwendeten wir die Aktion „salesforce_contact_upsertBulk_target“. Diese benötigt neben den Kontoangaben auch noch ein Salesforce-Sicherheitstoken, damit sie richtig funktioniert. Sobald die erforderlichen Einträge vorgenommen worden waren, konnten wir über den Mapper die Schemadaten anlegen, die wir zuvor über den „Preview Data“-Eintrag herausgefunden hatten, also Felder für den Firmennamen, den Namen des Ansprechpartners, die Adresse und ähnliches. Zum Schluss wiesen wir diese Felder den dazugehörigen Salesforce-Datenbankeinträgen zu, damit das System wusste, wo es die Daten hinschreiben sollte.

Damit war die Definition des Flows abgeschlossen und wir konnten einen ersten Testlauf vornehmen. Dabei zeigte uns das System an, wie viele Datensätze es aus der Datei auslas und wie viele Datensätze hochgeladen wurden. Hat sich bei dem Testlauf herausgestellt, dass alles ordnungsgemäß läuft, so haben die Anwender über den Button „Go Live“ die Option, den Flow mit einem Zeitplaner zu versehen, der ihn in regelmäßigen Abständen automatisch startet und so dafür sorgt, dass Änderungen in der Quelle zum Beispiel täglich automatisch zum Ziel übertragen werden.

Im Test ergaben sich mit unserem ersten Flow keine Probleme und wir konnten ihn sofort „Live“ schalten. Dabei richteten wir ihn so ein, dass er täglich ablief und das funktionierte von Anfang an wie erwartet.

Der sonstige Funktionsumfang des Web-Interfaces

Wenden wir uns nun aber wieder dem Funktionsumfang des Web-Interfaces zu. Unter „Activity“ stehen den Anwendern Dashboards zur Verfügung, die Aufschluss über die gerade laufenden und die bereits durchgeführten Aufgaben geben. Unter „Manage“ finden sich im Gegensatz dazu die von dem jeweiligen Benutzer verwendeten Aktionen, also die Quellen, Ziele, Umwandlungsaktionen und ähnliches. Diese lassen sich hier auch zu Talend Exchange exportieren und bei Bedarf besteht auch die Möglichkeit, weitere Aktionseinträge von dieser Plattform zu importieren.

Der letzte Punkt des Web-Interfaces nennt sich „Admin“. Er dient zur Verwaltung des Abonnements. Er umfasst beispielsweise die Benutzer- und die Rechteverwaltung. Im Test traten bei der Arbeit mit unterschiedlichen Benutzerkonten keine Probleme auf.

Talend Studio for Cloud

Auf der nächsten Seite erfahren Sie, welche Funktionen „Talend Studio for Cloud“ beherbergt und wie man mit der Entwicklungsumgebung eigene Datentransformationen durchführen und Datenquellen oder -Ziele definieren kann. Außerdem ein Fazit des Autoren zur Integration Cloud von Talend.

Inhalt des Artikels:

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 43728350 / Datenbanken / Big Data)