Wie der Modern Data Stack technologische
Kompetenz fördert
Data und Data Management Technologien boomen. Doch dem rapide wachsenden Datenaufkommen auf der einen Seite stehen steigende Anforderungen an qualitatives Datenmanagement auf der anderen Seite entgegen. Analytics Engineering wandelt sich zu einer Mammutaufgabe. Die gute Nachricht: Teilaufgaben lassen sich innerhalb eines Modern Data Stacks auf andere Kompetenzbereiche übertragen.
Technologien verändern Arbeits- und Sichtweisen. Damit sorgen sie für einen permanenten Strukturwandel und verlangen von uns Menschen große Flexibilität im Umgang mit ihnen und den Ergebnissen ab, die durch sie produziert werden können. Wir erhalten dadurch eine grundlegende und allumfassende Datenkompetenz, die sowohl analytische Business-Aspekte wie auch technologisches Know-how mit einschließt. Bemerkenswert ist die rasante Weiterentwicklung und Zugänglichkeit von datenaffinen Technologien. Sie befähigen eine größere Personengruppe dazu, sich ihrer zu bedienen.
Ebenso, wie sich Data Management Technologien verändern, entwickeln sich somit auch die Menschen weiter, die diese Werkzeuge nutzen. Die persönlichen Fähigkeiten wachsen gemeinsam mit dem technologischen Fortschritt und orientieren sich an aktuellen Anforderungen. Damit modifizieren sich die Kompetenzbereiche der einzelnen Mitglieder innerhalb eines Data Teams ganz selbstverständlich.
Analytics Engineer? Data Analyst? Data Something?
Besonders bemerkenswert in diesem Zusammenhang sind die Rollen der Data Analysts und der Analytics Engineers. Allgemein gesprochen entwickeln Analytics Engineers Systeme, um Daten zugänglich, brauchbar und beweglich zu machen. Sie sind für die intelligente Gestaltung von Datenkonstrukten verantwortlich, wählen wertschaffende Tools aus und führen sie ein. Dabei binden sie Datenquellen an, stellen diese bereit und setzen die Analyseanforderungen der Data Analysts zuverlässig um.
Data Analysts arbeiten für gewöhnlich mit den Daten, die ihnen zur Verfügung gestellt werden können. Sie kommunizieren mit einzelnen Fachbereichen und nehmen deren Anforderungen auf. Darauf basierend fließen entsprechende Daten in die Entscheidungsfindung ein. Analysten erstellen interaktive Auswertungen sowie Analysen und präsentieren die erarbeiteten Ergebnisse. Hinzu kommt ihr ausgeprägtes Interesse an neuen Technologien, das stark von Neugier und Experimentierfreude geprägt ist.
Jedoch: Wer aktuell zehn Engineers fragt, wie sie ihren Tätigkeitsbereich definieren, wird zehn unterschiedliche Antworten erhalten. Ebenso kann bei den Analysten davon ausgegangen werden, dass sie nie die gleiche Selbstdefinition abgeben. Der Tätigkeitsbereich ist jeweils abhängig vom technologischen Setting im Unternehmen, vom Einsatzort und von den Vorkenntnissen des Einzelnen.
Was für ein riesiger Vorteil! Denn mithilfe neuer Data Management Technologien werden die Grenzen zwischen Analytics und Engineering fließend – einzelne Kompetenzbereiche werden erweitert oder verlagert. Natürlich ändert das nicht an dem jeweiligen fachlichen Fokus von Engineers und Analysen. Aber es wird auf Dauer keine scharfen Abgrenzungen zwischen diesen beiden Tätigkeitsfeldern geben können.
Data Management Technologien: Datentransformation als Teil der Datenanalyse
Der Aufbau und Einsatz eines Modern Data Stack erweitert die Handlungsspielräume von Datenspezialisten mithilfe automatisierter Technologien. Data Tools mit ausgeprägter Intention zum Self-Service stehen jetzt zur Verfügung und verwandeln Basis-Kompetenzen in spezialisiertes Praxiswissen.
Für Data Analysts, mit Grundkompetenzen im SQL-Bereich, ist es plötzlich viel einfacher, sich die benötigen Daten selbstständig zu beschaffen, sie anzubinden und zu transformieren. Das Skillset der Analysten wird um die Fähigkeit zur Erstellung und Wartung von Data Pipelines erweitert. Transformationsaufgaben können durch den Einsatz eines Modern Data Stacks künftig teilweise oder auch gesamt von Analysten übernommen werden, da Sie meist ohnehin über technisches Hintergrundwissen verfügen und durch die entsprechenden Tools für die praktische Anwendung befähigt werden.
Die Engineers wiederum werden dadurch von einer teils sehr zeitaufwändigen Routineaufgabe im ELT-Bereich weitestgehend entlastet und können sich vollumfänglich der Gesamtorchestrierung und Optimierung von Datenplattformen widmen. Voraussetzung hierfür ist eine adäquate Auswahl und Überwachung von Tools und Services durch die Engineers, um eine ideale Arbeitsumgebung zu schaffen und aufrechtzuerhalten.
Analytics Engineering im Modern Data Stack
Dieser Tätigkeitsbereich, der zwischen Analytics und Engineering angesiedelt ist, wird als Analytics Engineering bezeichnet. Er lagert die für Engineers klassischen Tätigkeiten im Bereich Datentransformation als eigenständigen Teilbereich aus, um ihn dort mit Aspekten der Datenanalyse zu verheiraten.
Analytic Engineers unterstützen die Endnutzer mit sauber modellierten Datensätzen, die sämtliche Anforderungen abdecken und spezifische Fragen beantworten. Während Analysten hauptsächlich Daten analysieren und Engineers für eine ideale Analyseumgebung sorgen, kümmern sich Analytics Engineers um Transformation, Testung und Deployment sowie die Dokumentation von Daten, immer in Hinblick auf den Bedarf des Endnutzers.
Ein Modern Data Stack ist ein schichtweise kombiniertes System von automatisierten Services, die Daten sammeln, kombinieren, analysieren und den Wert von Daten heben. Auf der grundlegendsten Ebene schlägt er die Brücke zwischen Rohdaten auf der einen und Data Analytics auf der anderen Seite.
Mit der Verlagerung von Software-Lösungen in die Cloud ist es möglich geworden, mehrere Anwendungen zu einem Software- oder Solution-Stack zusammenzustellen. Abgedeckt werden die Bereiche Ingestion, Warehousing, Transformation, Business Intelligence und Data Science.
Wie immer bringt ein solch gravierender Wandel, der sich als Grundrauschen in Organisationen einrichtet, sowohl Vorteile als auch Herausforderungen mit sich. Selbst wenn die Prozesse im Data Management von Beginn an festgelegt und strukturiert geplant sind, können sich einzelne Tools und Tätigkeitsbereiche ändern und angleichen. Das ist sogar ganz normal und sollte innerhalb einer agilen Projektarbeit einkalkuliert werden.
Heute ausgewählte Tools können morgen bereits vor neuen Anforderungen stehen, die mit der ursprünglichen Ausrichtung nicht vollumfänglich bewältigt werden können. Denn technologischer Fortschritt verursacht eine permanente Neuordnung von Strukturen und Handlungsspielräumen. Das gehört zum Wesen des Data Managements. Das notwendige pragmatisches Denken und flexible Handeln ermöglicht der Modern Data Stack.
