Was ist Databricks

Wer heute über Datenplattformen spricht, kommt sicher an dem Namen Databricks vorbei. Gerade im Mittelstand wirkt das oft wie ein Tool für die ganz Großen mit großen IT-Abteilungen: teuer, komplex, nur für Big Data. Ich höre das häufig in Gesprächen, obwohl sich die Wahrheit längst verschoben hat. Deshalb kurz und knapp, was Databricks ist und ob es für Ihr Unternehmen interessant ist.

Die Idee dahinter: ein Haus am See

Databricks ist eine Plattform, auf der ein Unternehmen seine Daten sammelt, verarbeitet und sämtliche Analysen an einem Ort betreibt und von dort aus kontrolliert verteilt.

Das Herzstück ist das Lakehouse. Es verbindet zwei früher getrennte Welten. Der Data Lake war lange der große, günstige Speicher für alle Arten von Daten. Das Data Warehouse war der schnelle, geordnete Ort für Berichte, der zugleich teuer und unflexibel war. Das Lakehouse vereint das Beste aus beiden Welten: ein zentraler Ort, der günstig im Unterhalt ist, viele unterschiedliche Daten aufnimmt und trotzdem schnell genug für Berichte ist.

Also kein wilder See und kein starres Warenhaus, sondern ein Haus am See, in dem man sich wohlfühlt.

Anwendungsfälle

Hier sind drei Beispiele, unter vielen weiteren, für die Verwendung der Databricks Plattform.

Datensilos auflösen & Daten zusammenführen. Excel, ein ERP, eine CRM Software, Sensoren einer Maschine. Databricks sammelt all diese Daten an einem Ort, reichert sie an, hält sie sauber und macht sie abrufbar, etwa für Berichte oder Machine-Learning-Modelle.

Berichte & Auswertungen. Dashboards, die direkt auf die Daten im Lakehouse zugreifen, mit einheitlichen Zahlen und ohne Zwischenkopien. Mit Databricks internen Dashboard-Editor und KI-Assistenten lassen sich leicht eigene Dashboards entwickeln.

Datenqualität und Governance. Wer was sehen darf, wie lange Daten bleiben, welche Version aktuell ist: All das regelt die Plattform zentral mittels des Unity Catalogs.

Und darauf setzt heute auch KI auf: große Datenmengen in verlässlicher Qualität, mit hoher Verfügbarkeit und kontrollierbaren Zugriffsberechtigungen.

Innovationstreiber

Databricks ist heute nicht nur ein Werkzeug, sondern einer der wesentlichen Innovationstreiber im Datenumfeld. Viele der Standards, an denen sich die Branche orientiert, kommen von hier. Etwa die Declarative Automation Bundles (ehemals Databricks Asset Bundles), eine einheitliche Art, Datenpipelines als Code zu beschreiben. Oder die Governance, wo Databricks mit Konzepten für AI Governance und Unity Catalog vorangeht.

Für wen die Plattform passt

Weiter oben habe ich die Fehleinschätzung genannt, Databricks sei nur für Großkonzerne mit großer IT-Abteilung und großzügigem Budget etwas. Dabei bleibe ich. Jedes Unternehmen, das eines der genannten Probleme kennt, sollte die Nutzung der Databricks Plattform in Erwägung ziehen.

Hier sind zwei Argumente, warum die Databricks Plattform auch für kleine Budgets und jüngere Erfahrungsstufen geeignet ist: In den frühen Phasen der Plattform lag der Fokus tatsächlich eher auf Data Engineers und Data Scientists. Die Plattform hat sich aber geöffnet und tut es immer weiter für nicht-technische Nutzer, denn immer mehr grafische Werkzeuge und KI-Assistenten sind verfügbar. Zudem folgt sie vielerorts einem Pay-as-you-go-Ansatz: Wer wenig nutzt, zahlt wenig. Größere Datenmengen kosten entsprechend mehr, lassen sich aber durch Kostenoptimierung beeinflussen. Zu beiden Punkten und vielen weiteren Themen berate ich Sie gerne.

Ich habe Databricks zuerst in der chemischen Industrie genutzt, dann für ein Logistikunternehmen betrieben. Was mich dabei überzeugt, ist die Entwicklungsgeschwindigkeit: sowohl die Plattformentwicklung durch Databricks selbst als auch die Geschwindigkeit der eigenen Entwickler mit der Plattform. Nach kurzer Einarbeitung können sich alle selbstständig in der Plattform orientieren und sie erfolgreich nutzen.

Wenn Sie unsicher sind, ob Databricks zu Ihrer Ausgangslage passt, sprechen Sie mich gerne an.