Wie funktioniert die Analyse von Live-Daten?
Wie können extrem hohe Datenvolumen verarbeitet werden?
Wie setzt sich ein cloudbasierter Technologie-Stack zusammen?
Der digitale Wandel hat zur Folge, dass Daten in allen Bereichen anfallen und zur Analyse von Performance, Trends und Entwicklungen bereitstehen. Auch im Profifußball hat sich in den vergangenen Jahren die Nutzung von Leistungsdaten der Spieler durch den Trainerstab etabliert. Die besondere Herausforderung liegt dabei in der Live-Analyse von Spieldaten.
Für unseren Kunden, einen Top-Club der Fußball-Bundesliga, haben wir auf Basis von Azure und Snowflake einen hochleistungsfähigen Tech Stack erstellt. Er bildet den Kern der taod Football Data Platform. Durch die spezielle Datenaufbereitung kann die Analyse direkt in Tableau gestartet werden und so für Trainerstab und Team gleichermaßen schnelle Mehrwerte generieren.
Pro Spiel werden von der Bundesliga über 3,6 Millionen Datenpunkte bereitgestellt. Diese gilt es, live abzurufen und für die weitere Analyse in einer Datenbank abzuspeichern. Die berechneten KPIs sollen anschließend visualisiert werden. Mit dem Aufbau einer eigenen Datenplattform kann ein Verein den Grundstein für die erfolgreiche Arbeit der eigenen Analytics-Abteilung legen und so der Mannschaft helfen, eine bessere Leistung zu zeigen.
Für den Abgriff der Daten von der Schnittstelle sowie Quality Checks und erste Transformationen wird ein hochoptimierter, in Python entwickelter ETL-Prozess genutzt. Der auf Azure DevOps versionierte gehostete Code wird durch Logic-Apps orchestriert und unter Nutzung von Azure Container Registry/Azure Container Instances in Docker-Containern zur Ausführung gebracht. Dies ermöglicht ein konsistentes Deployment und bedarfsgerechte Skalierbarkeit, um die insbesondere bei Live-Spielen geforderten geringen Latenzen der Datenverfügbarkeit einzuhalten.
Die zentrale Basis der Datenplattform ist Snowflake. In Kombination mit Azure bietet die Snowflake Data Cloud eine stabile und wartungsarme Grundlage. Die Datenhaltung in Snowflake erfolgt über mehrere Ebenen, um unterschiedliche Versionierungen abbilden zu können. Die Datenverarbeitung selbst wird in die Verarbeitung von Live-Daten sowie den Import von qualitätsgesicherten Rohdaten unterschieden. Dank der automatischen Skalierung können dabei die Peak-Situationen am Spieltag, an denen innerhalb weniger Minuten Millionen von Datensätzen übertragen werden, problemlos bewältigt werden.
Zum Management der Services sowie zur Entwicklung der Datenmodelle wird dbt Cloud verwendet. Alle Transformationen werden einheitlich in SQL geschrieben, so dass einzelne Schritte durch eine Code-Versionierung abgespeichert und die Ausführung der Skripte orchestriert werden können. Durch die Integration in Snowflake kann dabei direkt auf der Datenbank gearbeitet und schnell in agiler Umsetzung ein Datenmodell erstellt werden. Darüber hinaus ermöglicht dbt die Etablierung von Tests und QS-Checks sowie die Erstellung einer Dokumentation und Data Lineage.
Die interaktiven Analysen und Dashboards können durch eine Datenbereitstellung auf einem Tableau Server durchgeführt werden. Als Self-Service-Tool bietet Tableau die Möglichkeit zur Data Discovery. Durch die direkte Anbindung an Snowflake können die Daten live in Tableau visualisiert und analysiert werden. Die intuitive Benutzeroberfläche ermöglicht es allen Mitarbeitenden, eigene Dashboards für die individuelle Datenanalyse zu erstellen.
Daten, und damit verbunden Football Analytics, sind längst eine entscheidende und wertschöpfende Komponente, sowohl für den spielerischen, als auch für den betriebswirtschaftlichen Erfolg des Vereins. Deshalb wird jedes Spiel in Daten übersetzt und analysiert. Mit dem neuen Technologie-Stack ist der Bundesligist nun in der Lage, jedes Spiel in Daten zu übersetzen und zu analysieren. Zudem kann er die Daten anreichern und in Animationen umwandeln, um die Vermittlung der Auswertungen ans Team besonders eingängig zu halten.
Arjan van Staveren
Country Lead Germany/ Snowflake
