HVR als fortschrittliche Enterprise-Lösung von Fivetran
Fivetran erweitert seine fortschrittlichen SAP-Datenextraktionsfunktionen für SAP ERP und S/4HANA. Mit der Integration von HVR bietet der Spezialist für Datenintegration ein leistungsstarkes Softwareprodukt, das eine homogene und heterogene Datenreplikation in Echtzeit ermöglicht. Anwendende können ihre SAP-Daten direkt für umfassende Echtzeitanalysen nutzen.
99 der 100 größten Unternehmen der Welt setzen auf SAP. Viele von ihnen nutzen die ERP-Systeme ECC oder S/4HANA zur Unterstützung ihrer kritischen Geschäftsprozesse. Eine der größten Herausforderungen ist dabei die Datenextraktion in Echtzeit, denn der Zugriff auf SAP-Daten ist in der Regel komplex, kostspielig und ressourcenintensiv.
Daten aus SAP herauszuholen kann zu einem Hindernis werden. Zunächst einmal verwendet SAP die proprietäre Sprache ABAP. Obwohl es zahlreiche SAP-Consultants gibt, die ABAP programmieren können, bleibt dies eine komplizierte Angelegenheit. Zweitens ist ABAP nur für Batch-Anwendungen geeignet. Bei unserer Arbeit mit Kunden und Kundinnen stellen wir jedoch fest, dass der Anspruch, Daten in Echtzeit oder nahezu in Echtzeit zu laden, steigt.
Drittens speichert die SAP ERP Central Component (ECC), die derzeit von den meisten Unternehmen mit SAP eingesetzt wird, einige der wichtigsten Daten der Anwendung in Cluster- und Pool-Tabellen. Es kann schwierig sein, Daten aus Cluster- und Pool-Tabellen herauszuholen, da diese in einem komprimierten und verschlüsselten Format gespeichert sind. Die Verwendung der Daten erfordert eine Dekomprimierung/Dekodierung. Es stimmt, dass SAP im Zuge der Migration seiner ERP-Suite auf SAP HANA® die SAP-Cluster- und Pool-Tabellen abschafft, so dass dies ein vorübergehendes Problem ist. Angesichts der weiten Verbreitung von ECC und der bislang als komplex bis schwierig bekannten Migration auf HANA® wird das Umstellungsdatum sicher nicht in der nahen Zukunft liegen. Anwendende sollten sich auf ein weiteres Jahrzehnt mit ECC einstellen.
Automatisierte Erfassung und Dekodierung von SAP-Daten mit Fivetran
Fivetrans HVR-Lösung stellt die zugrundeliegende Infrastruktur bereit, mit der Änderungen aus dem SAP-Quellsystem in diese beiden Lösungen übertragen werden. Die Software von Fivetran verwendet verschiedene CDC-Methoden (Change Data Capture) zur Replikation von Änderungen zwischen Datenbanken, Verzeichnissen (Dateispeicherorten) sowie zwischen Datenbanken und Verzeichnissen, die bei HVR "Standorte" genannt werden. HVR bietet auch eine eigene eingebettete SAP-Transformationsfunktion zur Dekomprimierung/Dekodierung der SAP-Cluster- und Pool-Tabellen als Teil einer regulären Replikationseinrichtung. Mit dieser Lösung kann HVR Daten, die sich in SAP befinden und somit auf einer der unterstützten Technologien, entsperren und in eine der unterstützten Zieltechnologien liefern, wobei Cluster- und Pool-Daten als Teil des Setups dekodiert werden. HVR unterstützt auch SAP HANA als Quelle für logbasierte Änderungsdatenerfassung.
Dokumentation von Fivetran via ERM-Diagramm
Die Dokumentation von Fivetran ist im Vergleich zu anderen Konnektor-Tools deutlich umfangreicher und effizienter angelegt. Für bestimmte Konnektoren liefert Fivetran automatisiert ein Datenmodell, das normalisiert ist und klare Entitäten/Beziehungen hat. Die Entitäten werden von Tabellen und deren Kardinalität nicht mittels Fließtextes erläutert, sondern es wird auf ein umfangreiches ERM-Diagramm verwiesen. Als Beispiel stellen wir das ERM-Diagramm des S/4 HANA Konnektors dar:
Durch das ERM-Diagramm können Analysten und Analystinnen schneller modellieren und besitzen eine direkte Dokumentation der Schnittstelle. Durch das mitgelieferte ERM-Diagramm fällt der Austausch mit der IT-Abteilung deutlich geringer aus, da die Schnittstellen, Tabellen, Entitäten und Kardinalitäten nicht erklärt werden müssen. Die Arbeit, Schnittstellenlösungen manuell in SQL zu programmieren, entfällt komplett.
Die wichtigsten Features von Fivetran im Überblick
Jede Verknüpfung eines Fivetran-Konnektors beginnt mit einer historischen Synchronisierung. Das heißt, alle Daten aus dem Quellsystem werden kostenlos in das Datawarehouse oder Zielsystem geladen. Von dort an aktualisieren inkrementelle Synchronisationen nur neue oder geänderte Daten. Nach der ersten Synchronisierung verknüpfen die Fivetran-Konnektoren die meisten Tabellen mit inkrementellen Updates. Fivetran verwendet hierbei eine Reihe von Mechanismen, um die Änderungen in den Quelldaten zu erfassen. Inkrementelle Synchronisationen sind effizient, weil sie nur die geänderten Daten aktualisieren, anstatt ganze Tabellen neu zu importieren.
Fivetran weist automatisch einen Datentyp zu, wenn die Quelle den Datentyp nicht angibt. Das System versucht, den kleinsten Datentyp zu verwenden, der die Daten korrekt speichert und darstellen kann. Kleinere Datentypen sind in der Regel schneller, da sie weniger Platz auf der Festplatte und im Speicher beanspruchen und weniger CPU-Zyklen zur Verarbeitung benötigen.
Bei der Normalisierung von Daten organisiert Fivetran die Daten in Tabellen und Spalten so, dass die Datenredundanz reduziert und die Daten logisch gespeichert werden. Bei der Normalisierung werden größere Tabellen in kleinere Tabellen unterteilt und mit Hilfe von Beziehungen nach bestimmten Regeln miteinander verknüpft.
Fivetran erfasst Löschungen, um beispielsweise die Historie eines Arbeitsablaufs detailliert nachzuvollziehen. Einige Quellen liefern direkte Informationen über Löschungen. Wiederum andere Quellen liefern keine direkten Informationen über Löschungen. Mit Fivetran lässt sich nachvollziehen, ob und wie viele fehlerhafte Eingaben in einem System vorgenommen wurden oder es lässt sich ein revisionssicheres Data Warehouse aufbauen.
Integrated Scheduling ermöglicht es Datenteams, automatisch dbt Core-Modellausführungen anzustoßen, unmittelbar nachdem eine Fivetran-Synchronisierung abgeschlossen ist. Dies reduziert die Datenlatenz, indem es die End-to-End-ELT-Pipelines beschleunigt und Geld für unnötige Rechenleistung spart.
Diese Features funktionieren auch alle bei den SAP-Konnektoren von Fivetran. Ziel hierbei ist es, so wenig Arbeit wie möglich mit der Replikation der SAP-Daten zu erzeugen. Fivetran ist daher die ideale Lösung für alle Anwendenden von SAP, die regelmäßig mit umfangreiche Datenextraktionen konfrontiert sind.
