“Mein heutiger Beitrag widmet sich dem Zusammenspiel aus Data Mesh, Data Fabric und einem Data Catalog.
Bevor es losgeht, was heißt das alles nochmal? Und da die meisten wahrscheinlich schon von Data Mesh und Data Fabric gehört haben, heute mal anders erklärt. Stellen Sie sich eine große Restaurantkette mit einem Franchise-Modell vor: Vorgegebene Richtlinien und Standards von der Zentrale (Data Governance) und ganz viele kleine Restaurants, die lokal geführt werden (Domänen).”

Katharina ConradiProduct Marketing Manager
Die Zentrale

Die zentralen Standards umfassen Qualitätskontrollen, Hygienevorschriften, Branding, Kundenerfahrung und vielleicht auch bestimmte Rezepturen. Ähnlich funktioniert das Governance-Modell im Data Mesh. Die zentrale Organisation, im Fall eines Unternehmens das zentrale Daten-Governance-Team, legt allgemeine Leitlinien und Richtlinien für die Datenverwaltung fest, um sicherzustellen, dass alle Datenprodukte eine bestimmte Mindestqualität erfüllen und konsistent im gesamten Unternehmen verwendet werden können.

Die Zentrale bestimmt auch, wie der Wiedererkennungswert gesichert bleibt. Das bedeutet, dass jedes Franchise-Restaurant die gleiche Marke und das gleiche Grundkonzept beibehalten muss, während es dennoch die Freiheit hat, seine eigene Note hinzuzufügen. Im Data Mesh ist diese Markenkohärenz vergleichbar mit einheitlichen Metadatenstandards oder Datenqualitätsmetriken, die jede Domäne einhalten muss, damit alle Datenprodukte im gesamten Unternehmen konsistent und verständlich bleiben.

Die lokale Verantwortung

Und gleichzeitig kennt jedes Restaurant seine lokale Kundschaft am besten und entscheidet, wie es die zentralen Rezepte adaptiert, welche Sonderaktionen es anbietet und wie es den Service organisiert. Sie haben also eine gewisse Freiheit, die zentralen Vorgaben an die lokalen Bedürfnisse anzupassen. Data Mesh ermächtigt Domänen dazu, ihre eigenen Datenprodukte zu erstellen und zu verwalten, basierend auf gemeinsamen Qualitätsstandards, während gleichzeitig die Freiheit besteht, die Lösungen an die spezifischen Anforderungen der Domäne anzupassen.

Damit sortiert der Datenkatalog Ihre Flut von Metadaten in ein konsumierbares, strukturiertes und leicht zugängliches Format, das die Suche und Analyse vereinfacht: vom IT System bis zum Datenfeld, von Datendomäne zum Attribut. Wo das Data Fabric die Daten sichtbar macht und die Data Mesh die Verantwortung in die Domänen legt, hilft ihnen ein Datenkatalog den Gesamtüberblick zu behalten! Und wenn man noch einen Schritt weitergehen möchte, kann man über einen Datenkatalog Datenprodukte bestellen oder sogar neue Datenprodukte beauftragen.

Data Fabric: Das magische Netz, das alles verbindet

Data Fabric stellt eine technologische Infrastruktur dar, die eine nahtlose Verbindung zwischen den unterschiedlichen Franchise-Standorten (Domänen) herstellt. Stell dir vor, jedes Restaurant in der Kette nutzt eine zentrale IT-Plattform, über die es alle relevanten Informationen austauschen kann: Warenbestände, Bestellmengen, Rezepte, Kundenzufriedenheit, lokale Marketingmaßnahmen etc. Diese Plattform sorgt dafür, dass alle Daten, die in den einzelnen Franchises entstehen, effizient geteilt und genutzt werden können, und ermöglicht eine durchgängige Sicht auf alle Vorgänge im gesamten Netzwerk.

Ähnlich agiert Data Fabric im Datenuniversum: Es ist eine integrierende Schicht, die sicherstellt, dass die unterschiedlichsten Datenquellen und -formate aus den verschiedenen Domänen miteinander verbunden werden. Dabei spielt es keine Rolle, ob die Daten in einer Cloud, in einer Datenbank vor Ort oder in einem Data Lake liegen – Data Fabric sorgt dafür, dass die Daten verfügbar, zugänglich und nutzbar gemacht werden, indem sie die Datensilos miteinander verknüpft.

Der Datenkatalog als Vermittler

Wie passt nun der Datenkatalog in die Welt, in der Data Mesh und Data Fabric zusammenkommen? Ganz einfach: Er ist das Zentrum des Datenbürokratie-Karussells. Der Datenkatalog ist der perfekte Vermittler, weil er genau das tut, was er am besten kann – Metadaten dokumentieren und die Ordnung der Daten wahren. Egal, ob die Daten nun dezentral in Domänen (Data Mesh) oder zentral mit intelligenten Automatisierungen (Data Fabric) verwaltet werden – der Datenkatalog bringt die Dateninformationen zusammen.

Mit dem Datenkatalog weiß man, wie Daten fachlich definiert sind, welche Datenprodukte es gibt, wo die Daten herkommen und wie sie verwendet bzw. verarbeitet werden, wie die Daten klassifiziert sind und wie gut sie bei der Datenqualität abschneiden.

Ähnlich agiert Data Fabric im Datenuniversum: Es ist eine integrierende Schicht, die sicherstellt, dass die unterschiedlichsten Datenquellen und -formate aus den verschiedenen Domänen miteinander verbunden werden. Dabei spielt es keine Rolle, ob die Daten in einer Cloud, in einer Datenbank vor Ort oder in einem Data Lake liegen – Data Fabric sorgt dafür, dass die Daten verfügbar, zugänglich und nutzbar gemacht werden, indem sie die Datensilos miteinander verknüpft.

So verstehen und setzen wir Datenprodukte

in D-QUANTUM um.

Ein Datenprodukt…
  • …ist einfach auffindbar, nachvollziehbar und zugänglich.
  • …unterstützt konkrete Anwendungsfälle und bietet klare Mehrwerte für den Nutzer
  • …ist wiederverwendbar und über einen Bestellprozess verfügbar​.
  • …hat eine systematische & aktive Governance (Datenqualität, Compliance, Klassifizierung, IT Security, Verantwortlichkeiten).
  • …verfügt über Kontextinformationen, wie Beschreibung, enthaltene Daten, Datenquellen, Data Profiling und Data Samples.
  • …wird durch ein Team aus fachlichen und technischen Wissensträgern verantwortet​.
  • … wird in einem Produktteam kontinuierlich weiterentwickelt.
Beispiele für Datenprodukte
Metriken, Dimensionen, Kohorten, Reports
Standard Dashboards und Reports
Code (e.g. SQL, Python)
Queries, Data Sets, Modelle, Algorithmen
Umsetzung Datenprodukte in D-QUANTUM

In D-QUANTUM bezeichnen wir Datenprodukte als Data Collections. In Data Collections werden Data Assets zusammengefasst, die einen besonderen Geschäftsnutzen haben, z.B. alle Daten zu einer konkreten Produktsparte „Sparen & Anlegen“ oder strategische Performancekennzahlen für den Jahresabschlussbericht. Dabei möchten wir mit D-QUANTUM den konsumentenzentrierten Ansatz unterstützen, um konkrete Bedürfnisse der Kunden zu erfüllen. Der Datenkatalog dient hier als ein wesentlicher Treiber von Datenprodukten, der es dem Consumer ermöglicht Daten im Self-Service zu verstehen, zu bestellen und korrekt zu nutzen.

Fazit: Der Datenkatalog als Herzstück der Datentransparenz

In der Franchise-Restaurant-Analogie fungiert der Datenkatalog als die zentrale Plattform, die sicherstellt, dass jeder Beteiligte immer die nötigen Informationen über die vorhandenen Datenprodukte hat – von Rezepten bis hin zu Zuständigkeiten. Er bringt sowohl im Data Mesh als auch im Data Fabric die nötige Transparenz, damit Daten nicht in undurchsichtigen Silos verschwinden, sondern für alle sinnvoll und effizient genutzt werden können.

Data Mesh bietet die organisatorische Struktur und legt die Verantwortung für Daten in die Hände der Domänen, während Data Fabric eine technische Infrastruktur für die Verbindung und Integration von Daten schafft. Der Datenkatalog wiederum sorgt dafür, dass all diese Daten transparent, verständlich und einfach auffindbar sind – ähnlich wie ein zentraler Reiseführer, der alle Gerichte und Zutaten aufzeigt und beschreibt, damit die Restaurants (Domänen) ihre Kunden optimal bedienen können und das gesamte Unternehmen als eine koordinierte Einheit zusammenarbeiten kann.

Dies war ein Beitrag von:

Katharina Conradi

PRODUCT MARKETING MANAGER BEI SYNABI BUSINESS SOLUTIONS GMBH

Katharina blickt auf eine langjährige Erfahrung als Business Analystin/Projektmanagerin in den Bereichen Datenmanagement und Softwareimplementierung zurück. Als Produktmanagerin bei Synabi ist es ihre Priorität Markt- und Kundenbedürfnisse zu verstehen, um innovative Lösungen zu entwickeln und die Produktvision von D-QUANTUM auszugestalten.