Datenintegration mit Fivetran:
Data Pipelines neu gedacht
Moderner Ansatz zur Integration: Extract-Load-Transform
Aus ETL wird ELT: Schnellere Datenbereitstellung, mehr Zeit für die Analyse. Fivetran macht Daten aus verschiedensten Quellstrukturen in einem Data Warehouse (DWH) oder anderen Datenbanken gänzlich ohne eigenes Coding und mit einem sehr geringen Wartungsaufwand möglich.
Ein ELT-Stack (Extraction-Load-Transform) ersetzt lokale Technologien durch cloud-native SaaS-Technologien. Richtig implementiert, bietet der moderne Data Stack eine kontinuierliche Datenintegration und unternehmensweite Zugänglichkeit mit einem Minimum an manuellen Eingriffen und maßgeschneidertem Code.
Durch die Umkehr der konventionellen Reihenfolge des ETL-Prozesses in eine primäre Ladephase und nachgelagerter Transformationsphase bei Fivetran, also Extract-Load-Transform, werden die drei Hauptdefizite von ETL behoben:
Die Pipeline wird vereinfacht – die Lagerung von Standardschemata verlagert einen Großteil der auf die Pipeline angewandten Arbeit von den Data Engineers zu den Data Analysts. Teure Ressourcen fürs Engineering werden eingespart und können für die Analyse verwendet werden.
Die Pipeline ist widerstandsfähiger und weniger risikobehaftet. Da Transformationen erst nach der Speicherung der Daten durchgeführt werden, betreffen eventuelle Fehler, die durch Änderungen in den Quellsystemen verursacht werden, hauptsächlich die Analyseschicht und lassen sich ohne große Abhängigkeiten beheben.
Die Pipeline ist leichter zugänglich, da sie weniger arbeitsintensiv zu warten ist. Der Wegfall des Codings ist ein Zugewinn für alle, die die Integration von Daten unabhängig und selbstständig vornehmen möchten. Mit über 200 Konnektoren lassen sich bereits ohne Engeinnering Aufwände zahlreiche Datenquellen anbinden.
Ansatz Fivetran
Transformation im Data Warehouse statt davor
Bei einem ELT Prozess werden Transformationen in einem elastischen, cloud-basierten Data Warehouse durchgeführt. Durch die Flexibilität können die Rechen- und Speicherressourcen je nach Bedarf nach oben oder unten skaliert werden. Dadurch entfällt die Notwendigkeit, Hardware-Anforderungen zu prognostizieren und überschüssige Kapazität zu kaufen.
Transformationen, die innerhalb des Data Warehouse durchgeführt werden, sind destruktiv. Sie ermöglichen es, dass die zugrunde liegenden Daten völlig ungestört bleiben, während zusätzliche Tabellen mit den gewünschten Modellen erstellt werden. Das bedeutet, dass fehlgeschlagene Transformationen keine dauerhaften Folgen haben und immer wieder getestet werden können.
Transformationen innerhalb des Data-Warehouses können in SQL geschrieben werden, wodurch sie von Analysten durchgeführt werden können. Analysten können ihre selbst erzeugten Modelle an sich ändernde Geschäftsanforderungen anpassen, ohne dass wertvolle Daten verloren gehen.
Wenig Aufwand, viel Zeit für Analyse
Warum Fivetrans ELT besser als konventionelles ETL ist
Der traditionelle Ansatz zur Datenintegration, bekannt als Extrakt-Transform-Load (ETL), ist seit den 1970er Jahren dominierend. Die Abkürzung ETL wird häufig umgangssprachlich verwendet, um Datenintegrationsaktivitäten im Allgemeinen zu beschreiben. ETL entwickelte sich zu einer Zeit, als Rechenleistung, Speicher und Bandbreite knapp und teuer waren. Ein ETL-System führt die folgenden Schritte aus:
Extract – Daten werden mit Hilfe von Konnektoren extrahiert
Transform – Durch eine Reihe von Transformationen werden die Daten je nach Bedarf von Analysten und Endbenutzern in Modelle umgewandelt
Load – Daten werden in ein Data Warehouse geladen
Visualisieren – die Daten werden durch ein Business Intelligence-Tool zusammengefasst und visualisiert
Da ETL die Daten nicht direkt von jeder Quelle in das Data Warehouse repliziert, gibt es keinen umfassenden Datenspeicher für Analysen. Fehler in jeglicher Phase des Prozesses machen die Daten für Analysten unzugänglich und erfordern einen technischen Aufwand zur Reparatur.
Interessieren Sie sich für eine Live-Demo?Nehmen Sie Kontakt auf
Ihr Ansprechpartner
Till Aufderheide
Data Consultant
tel. +49 221 975 849 75
till.aufderheide@taod.de