Hype-Tool Databricks

Vom Data Lake zur produktiven KI-Plattform

Kaum ein Unternehmen wird im aktuellen KI-Diskurs so häufig genannt wie Databricks. Völlig zurecht. Hier sind die wichtigsten Features im Überblick.

Databricks gilt als einer der wichtigsten Player im modernen Data Stack, besonders im Bereich AI-ready Data Platform. Was lange als Lakehouse-Spezialist für Data Engineering und Machine Learning galt, positioniert sich heute als vollintegrierte Data Intelligence Platform. Herzstück dieser Entwicklung ist ein eng verzahnter AI-Stack aus Mosaic AI, dem hauseigenen Large Language Model DBRX, AI/BI-Funktionen wie Genie und einem wachsenden Agent-Ökosystem. Die strategische Idee dahinter ist klar: Daten, Modelle, Governance und Applikationen sollen nicht mehr in getrennten Tools entstehen. Stattdessen läuft alles auf einer Plattform zusammen, inklusive einheitlicher Sicherheit, Monitoring und Kostenkontrolle.

AI/BI Chatbots mit Genie: „Chat with your Warehouse“

Besonders spannend ist der BI-Bereich. Mit Genie führt Databricks eine neue Form des Self-Service-Analytics ein. Statt Dashboards anzufordern oder SQL manuell zu schreiben, können Nutzer ihre Fragen in natürlicher Sprache stellen: „Zeig mir den Umsatz nach Region im vierten Quartal.“ Das System generiert SQL, erstellt Visualisierungen und baut auf Wunsch Dashboards.

Die sogenannten Genie Spaces fungieren als Chat-Interface für Lakehouse- und DWH-Daten. Ergänzt wird das durch AI-Dashboards, die automatische Insights, Erklärungen und Abonnement-Funktionen bieten. So lassen sich Berichte inklusive KI-Zusammenfassung regelmäßig teilen.

Entscheidendend ist der Data-Intelligence-Layer, der Metadaten aus dem Unity Catalog nutzt. Dadurch versteht das System Schema, Datenqualität und Geschäftslogik besser, so dass sich die Stabilität der NL-SQL-Generierung deutlich erhöht. Was früher bedeutete: „Frag den Analysten und warte auf ein neues Dashboard“, wird zu: „Stell die Frage direkt an dein Warehouse.“ BI verschiebt sich von einem Ticket-Prozess hin zu interaktiver Exploration.

BI verschiebt sich von einem Ticket-Prozess hin zu interaktiver Exploration.

Mosaic AI: Gen-AI auf Lakehouse-Niveau

Mit Mosaic AI bietet Databricks eine End-to-End-Umgebung für generative KI und Machine Learning. Unternehmen können hier Modelle entwickeln, deployen, evaluieren und überwachen, und zwar ganz ohne Plattformbruch.

Zum Funktionsumfang gehören:

• Model Serving: Einheitliches Hosting für Foundation-Modelle und eigene Gen-AI-Anwendungen, inklusive Versionierung, Monitoring und Governance. Auch Open-Source-LLMs lassen sich direkt betreiben.
• Vector Search: Eine native Vektor-Datenbank im Lakehouse, die Delta-Tabellen automatisch indiziert und Hybrid- sowie Similarity-Search ermöglicht. Das ist besonders relevant für Retrieval-Augmented-Generation-Szenarien (RAG), etwa bei Chatbots auf internen Dokumenten.
• Agent Framework: Ein Python-basiertes Framework zum Bau von KI-Agents, die Tools, APIs, SQL-Abfragen oder Feature Stores orchestrieren und mehrstufige Workflows ausführen.
• Evaluation & Monitoring: Out-of-the-box-Evaluations-Pipelines, SME-Feedback-Oberflächen und Qualitätsmetriken über Zeit – entscheidend für produktive Systeme.

DBRX: Eigenes Open-Source-LLM mit Enterprise-Anspruch

Mit DBRX hat Databricks ein eigenes großes Open-Source-LLM veröffentlicht. Die Architektur basiert auf einer feingranularen Mixture-of-Experts-Struktur: 132 Milliarden Gesamtparameter, von denen pro Token nur 36 Milliarden aktiv sind. 16 Experts stehen zur Verfügung, vier werden jeweils genutzt. Dieses Design sorgt für ein attraktives Verhältnis von Qualität zu Inferenzkosten.

Das Modell wurde auf rund 12 Billionen Token trainiert, unterstützt eine Kontextlänge von 32k und ist kompatibel mit gängigen GPT-Ökosystemen. Technische Details wie RoPE, GLU oder Grouped Query Attention unterstreichen den Anspruch, auf Augenhöhe mit führenden Modellen zu agieren.

Für Unternehmen ist vor allem die Integration entscheidend: DBRX kann direkt im Workspace gehostet und über Mosaic Model Serving oder das AI-Gateway in Notebooks, SQL Warehouses, Agents und externe Anwendungen eingebunden werden. Damit entsteht von Coding-Assistenz über NL-SQL bis zu komplexen Agent-Systemen ein einheitliches Modell-Backbone für unterschiedlichste Use Cases.

Agent Bricks: KI-Agents ohne Overhead

Mit Agent Bricks und den AI Agent Systems erweitert Databricks den Baukasten um No- und Low-Code-Funktionen für Agent-basierte Anwendungen. Aufgaben, Datenquellen und Tools lassen sich konfigurieren, ohne jedes Detail von Grund auf zu programmieren.

Das System bringt vorgefertigte Agenten mit, etwa für Information Extraction, Text-Transformation oder Knowledge-Assistants auf internen Dokumenten. Ein Multi-Agent-Supervisor koordiniert komplexere Szenarien.

Besonders relevant ist die automatische Optimierung im Hinblick auf Kosten und Qualität. Auto-Evaluation und Cost-Tuning sorgen dafür, dass Agenten nicht nur funktionieren, sondern effizient betrieben werden. Governance und Zugriffskontrolle erfolgen über AI-Gateway und Unity Catalog, inklusive Audit-Funktion und Usage-Monitoring.

Der Unterschied: Evaluation statt Bauchgefühl

Ein zentraler Innovationspunkt liegt in den Evaluationsmechanismen. Viele frühe Gen-AI-Projekte basierten auf einem impliziten Qualitätsmaßstab: „Sieht gut aus.“ Chatbots wurden ohne systematische Messung gebaut, getestet und bei akzeptabler Performance ausgerollt.

Databricks verfolgt einen anderen Ansatz. LLM-Judges prüfen Correctness, Groundedness und weitere Kriterien auf Zeilenebene. Systeme liefern Pass/Fail-Ergebnisse mit Begründung. Root-Cause-Analysen zeigen, ob etwa irrelevantes Retrieval oder Modellfehler die Ursache sind.

Statt Trial-and-Error entstehen schnelle Iterationszyklen mit Review-Apps, synthetischer Datengenerierung und strukturiertem Human Feedback. Unternehmen berichten von deutlich verkürzter Time-to-Production. Evaluation wird vom optionalen Add-on zur zentralen Produktionsvoraussetzung.

Wichtig ist dabei die Differenzierung: Bei Genie fließt Evaluation implizit über Knowledge-Store-Mechanismen und Admin-Feedback ein. Für individuelle Agent- oder RAG-Apps steht hingegen eine explizite, umfassende Evaluationsumgebung bereit.

Ein integrierter AI-Stack statt Tool-Flickenteppich

Die Stärke des aktuellen Databricks-Ansatzes liegt weniger in einzelnen Features als in ihrer Integration. Mosaic AI übernimmt Entwicklung und Betrieb, DBRX liefert ein leistungsfähiges Open-Source-Modell, Genie demokratisiert Analytics, Agent Bricks operationalisiert KI-Workflows, Vector Search verbindet Daten mit Kontext.

Für Unternehmen bedeutet das: Daten bleiben im Lakehouse, Modelle greifen kontrolliert darauf zu, Governance ist zentral geregelt, Qualität wird messbar. Der klassische Bruch zwischen Data Engineering, BI, ML und Gen-AI verschwindet zunehmend.

Ein typisches Szenario: Ein Unternehmen entwickelt einen Chatbot über interne Tabellen und Dokumente. Vector Search übernimmt das Retrieval, DBRX dient als Modell, Evaluation misst die Antwortqualität anhand definierter Kriterien. Das Ergebnis ist kein Demo-Bot, sondern ein kontrollierbares, messbares System.

Databricks entwickelt sich damit vom Daten-Tool zur umfassenden AI-Plattform. Wer heute nicht nur experimentieren, sondern produktionsreife KI-Systeme bauen will, findet hier einen Stack, der technologische Tiefe mit operativer Skalierbarkeit verbindet.

Die eigentliche Frage ist daher weniger, ob Databricks ein „Hype-Tool“ ist. Spannender ist, ob sich dieser integrierte Plattformansatz als Blaupause für Enterprise-KI etabliert.

Dieser Artikel erschien erstmalig in Ausgabe 7 unseres Magazins data!‍

Jetzt lesen

‍