.Fivetran – Aus ETL wird ELT:.
.Reinventing Data Pipelines.

Fivetran – Aus ETL wird ELT: Reinventing Data Pipelines

Moderner Ansatz zur Integration: Extract-Load-Transform

Aus ETL wird ELT: Schnellere Datenbereitstellung, mehr Zeit für die Analyse. Fivetran macht Daten aus verschiedens­ten Quellstrukturen in einem Data Warehou­se (DWH) oder anderen Datenbanken gänz­lich ohne eigenes Coding und mit einem sehr geringen Wartungsaufwand möglich.

Ein ELT-Stack (Extraction-Load-Transform) ersetzt lokale Technologien durch cloud-native SaaS-Technologien. Richtig implementiert, bietet der moderne Data Stack eine kontinuierliche Datenintegration und unternehmensweite Zugänglichkeit mit einem Minimum an manuellen Eingriffen und maßgeschneidertem Code.

Durch die Umkehr der konventionellen Reihenfolge des ETL-Prozesses in eine primäre Ladephase und nachgelagerter Transformationsphase bei Fivetran, also Extract-Load-Transform, werden die drei Hauptdefizite von ETL behoben:

Weniger Komplexität

Die Pipeline wird vereinfacht – die Lagerung von Standardschemata verlagert einen Großteil der auf die Pipeline angewandten Arbeit von den Data Engineers zu den Data Analysts.

Mehr Stabilität

Die Pipeline ist widerstandsfähiger und weniger risikobehaftet. Da Transformationen erst nach der Speicherung der Daten durchgeführt werden, betreffen eventuelle Fehler, die durch Änderungen in den Quellsystemen verursacht werden, hauptsächlich die Analyseschicht und lassen sich ohne große Abhängigkeiten beheben.

Leichtere Zugänglichkeit

Die Pipeline ist leichter zugänglich, da sie weniger arbeitsintensiv zu warten ist. Der Wegfall des Codings ist ein Zu­gewinn für alle, die die Integration von Daten unabhängig und selbstständig vornehmen möchten.

Data Flow im ELT Prozess bei Fivetran

Ansatz Fivetran

Transformation im Data Warehouse statt davor

Bei einem ELT Prozess werden Transformationen in einem elastischen, cloud-basierten Data Warehouse durchgeführt. Durch die Flexibilität können die Rechen- und Speicherressourcen je nach Bedarf nach oben oder unten skaliert werden. Dadurch entfällt die Notwendigkeit, Hardware-Anforderungen zu prognostizieren und überschüssige Kapazität zu kaufen.

Transformationen, die innerhalb des Data Warehouse durchgeführt werden, sind destruktiv. Sie ermöglichen es, dass die zugrunde liegenden Daten völlig ungestört bleiben, während zusätzliche Tabellen mit den gewünschten Modellen erstellt werden. Das bedeutet, dass fehlgeschlagene Transformationen keine dauerhaften Folgen haben und immer wieder getestet werden können.

Transformationen innerhalb des Data-Warehouses können in SQL geschrieben werden, wodurch sie von Analysten durchgeführt werden können. Analysten können ihre selbst erzeugten Modelle an sich ändernde Geschäftsanforderungen anpassen, ohne dass wertvolle Daten verloren gehen.

Nachteile konventioneller Ansätze

Viel Aufwand, wenig Zeit für Analyse

Warum Fivetrans ELT besser als konventionelles ETL ist

Der traditionelle Ansatz zur Datenintegration, bekannt als Extrakt-Transform-Load (ETL), ist seit den 1970er Jahren dominierend. Die Abkürzung ETL wird häufig umgangssprachlich verwendet, um Datenintegrationsaktivitäten im Allgemeinen zu beschreiben. ETL entwickelte sich zu einer Zeit, als Rechenleistung, Speicher und Bandbreite knapp und teuer waren. Ein ETL-System führt die folgenden Schritte aus:

Extract – Daten werden mit Hilfe von Konnektoren extrahiert
Transform – Durch eine Reihe von Transformationen werden die Daten je nach Bedarf von Analysten und Endbenutzern in Modelle umgewandelt
Load – Daten werden in ein Data Warehouse geladen
Visualisieren – die Daten werden durch ein Business Intelligence-Tool zusammengefasst und visualisiert

Da ETL die Daten nicht direkt von jeder Quelle in das Data Warehouse repliziert, gibt es keinen umfassenden Datenspeicher für Analysen. Fehler in jeglicher Phase des Prozesses machen die Daten für Analysten unzugänglich und erfordern einen technischen Aufwand zur Reparatur.

Ihr Ansprechpartner

Frederic Bauerfeind
Data Consultant

tel. +49 221 975 849 83
frederic.bauerfeind@taod.de

Sie möchten Fivetran live erleben?

Gerne zeigen wir Ihnen das Tool und seine Möglichkeiten in einer persönlichen Session. GRATIS und auf Wunsch auch mit Ihren eigenen Daten. Senden Sie uns einfach unkompliziert Ihre Anfrage______