.Fivetran – Aus ETL wird ELT:.
.Reinventing Data Pipelines.
Fivetran – Aus ETL wird ELT: Reinventing Data Pipelines
Moderner Ansatz zur Integration: Extract-Load-Transform
Aus ETL wird ELT: Schnellere Datenbereitstellung, mehr Zeit für die Analyse. Fivetran macht Daten aus verschiedensten Quellstrukturen in einem Data Warehouse (DWH) oder anderen Datenbanken gänzlich ohne eigenes Coding und mit einem sehr geringen Wartungsaufwand möglich.
Ein ELT-Stack (Extraction-Load-Transform) ersetzt lokale Technologien durch cloud-native SaaS-Technologien. Richtig implementiert, bietet der moderne Data Stack eine kontinuierliche Datenintegration und unternehmensweite Zugänglichkeit mit einem Minimum an manuellen Eingriffen und maßgeschneidertem Code.
Durch die Umkehr der konventionellen Reihenfolge des ETL-Prozesses in eine primäre Ladephase und nachgelagerter Transformationsphase bei Fivetran, also Extract-Load-Transform, werden die drei Hauptdefizite von ETL behoben:
Die Pipeline wird vereinfacht – die Lagerung von Standardschemata verlagert einen Großteil der auf die Pipeline angewandten Arbeit von den Data Engineers zu den Data Analysts.
Die Pipeline ist widerstandsfähiger und weniger risikobehaftet. Da Transformationen erst nach der Speicherung der Daten durchgeführt werden, betreffen eventuelle Fehler, die durch Änderungen in den Quellsystemen verursacht werden, hauptsächlich die Analyseschicht und lassen sich ohne große Abhängigkeiten beheben.
Die Pipeline ist leichter zugänglich, da sie weniger arbeitsintensiv zu warten ist. Der Wegfall des Codings ist ein Zugewinn für alle, die die Integration von Daten unabhängig und selbstständig vornehmen möchten.
Data Flow im ELT Prozess bei Fivetran
Ansatz Fivetran
Transformation im Data Warehouse statt davor
Bei einem ELT Prozess werden Transformationen in einem elastischen, cloud-basierten Data Warehouse durchgeführt. Durch die Flexibilität können die Rechen- und Speicherressourcen je nach Bedarf nach oben oder unten skaliert werden. Dadurch entfällt die Notwendigkeit, Hardware-Anforderungen zu prognostizieren und überschüssige Kapazität zu kaufen.
Transformationen, die innerhalb des Data Warehouse durchgeführt werden, sind destruktiv. Sie ermöglichen es, dass die zugrunde liegenden Daten völlig ungestört bleiben, während zusätzliche Tabellen mit den gewünschten Modellen erstellt werden. Das bedeutet, dass fehlgeschlagene Transformationen keine dauerhaften Folgen haben und immer wieder getestet werden können.
Transformationen innerhalb des Data-Warehouses können in SQL geschrieben werden, wodurch sie von Analysten durchgeführt werden können. Analysten können ihre selbst erzeugten Modelle an sich ändernde Geschäftsanforderungen anpassen, ohne dass wertvolle Daten verloren gehen.
Nachteile konventioneller Ansätze
Viel Aufwand, wenig Zeit für Analyse
Warum Fivetrans ELT besser als konventionelles ETL ist
Der traditionelle Ansatz zur Datenintegration, bekannt als Extrakt-Transform-Load (ETL), ist seit den 1970er Jahren dominierend. Die Abkürzung ETL wird häufig umgangssprachlich verwendet, um Datenintegrationsaktivitäten im Allgemeinen zu beschreiben. ETL entwickelte sich zu einer Zeit, als Rechenleistung, Speicher und Bandbreite knapp und teuer waren. Ein ETL-System führt die folgenden Schritte aus:
Extract – Daten werden mit Hilfe von Konnektoren extrahiert
Transform – Durch eine Reihe von Transformationen werden die Daten je nach Bedarf von Analysten und Endbenutzern in Modelle umgewandelt
Load – Daten werden in ein Data Warehouse geladen
Visualisieren – die Daten werden durch ein Business Intelligence-Tool zusammengefasst und visualisiert
Da ETL die Daten nicht direkt von jeder Quelle in das Data Warehouse repliziert, gibt es keinen umfassenden Datenspeicher für Analysen. Fehler in jeglicher Phase des Prozesses machen die Daten für Analysten unzugänglich und erfordern einen technischen Aufwand zur Reparatur.
Ihr Ansprechpartner
Till Aufderheide
Data Consultant
tel. +49 221 975 849 75
till.aufderheide@taod.de
Sie möchten Fivetran live erleben?
Gerne zeigen wir Ihnen das Tool und seine Möglichkeiten in einer persönlichen Session. GRATIS und auf Wunsch auch mit Ihren eigenen Daten. Senden Sie uns einfach unkompliziert Ihre Anfrage______
