Data Mesh – Die Zukunft der Datenverwaltung
Data Mesh
Der Begriff Data Mesh ist in den letzten zwei Jahren immer populärer geworden und das zurecht, denn die zeiteffiziente Nutzung und Weiterentwicklung von Daten spielt heutzutage eine immer wichtigere Rolle. Nutzer erwarten schnellen Zugriff auf neue Daten und Unternehmen wollen diese optimiert nutzen, verarbeiten können und schnellstmöglich auf Innovation reagieren.
Um der wachsenden Nachfrage standhalten zu können, suchen Unternehmen zunehmend nach besseren Speichermöglichkeiten für ihre Daten, wobei nicht nur die Erweiterung, sondern insbesondere die Wiederverwendbarkeit bereits vorhandener Data Management Strukturen im Vordergrund liegt. Auch werden Daten aus den verschiedenen Quellen integriert, historisiert und für Managemententscheidungen auswertbar gemacht. Hierbei werden meistens Data Warehouse– und Data Lakes verwendet.
Einleitung
Data Lakes und Warehouses sind zentrale Speichermöglichkeiten für strukturierte sowie unstrukturierte Daten in einer großen Datenbank. Sie sammeln große Mengen verschiedenster Daten an einem Ort, wo diese bei Bedarf abgerufen werden können. Data Lakes speichern dabei Rohdaten in ihrer ursprünglichen Form und DWHs in einheitlich formatierter Form.
Durch diese traditionellen Methoden ergeben sich jedoch einige Probleme: Die Wartungsarbeiten und Aktualisierungen dieser monolithischen Speichermöglichkeiten sind meist sehr kostspielig und zäh. Zudem gelingt das Abrufen von Daten so nur in gemäßigtem Tempo und die Genauigkeit sowie die Quelle der Daten geht meist verloren. Obwohl monolithische Systeme fast seit dem Aufkommen des Software-Engineerings existieren, hatten sie nie bestimmte, standardisierte Infrastrukturkomponenten und ihre Verwertung ist somit immer noch eine Herausforderung für die Unternehmen.
Die monolithische Architektur ist für den heutigen Standard der eCommerce-Gemeinschaft zu unflexibel und unskalierbar. Aus diesem Grund wird eine neue Infrastruktur – Data Mesh – zur Entfaltung gebracht.
Was ist ein Data Mesh?
Ein Data Mesh ist eine Infrastruktur im Bereich der Datenverwaltung, die eine Konnektivitätsebene erstellt, die die Komplexität der Verbindung, Verwaltung und Unterstützung des Datenzugriffs zusammenfasst.
Das Data Mesh, dient im Kern dazu, diese Daten miteinander zu integrieren und sie als Produkt für andere zugänglich zu machen (sowohl für die Datenkonsumenten als auch für die Datenersteller). Wenn die Integrität der Daten sicher ist, bleiben auch die gespeicherten Informationen in einer Datenbank vollständig, genau und zuverlässig, komplett unabhängig davon, wann sie gespeichert wurden und wie oft auf sie zugegriffen wird.
Das domainübergreifende Nutzen von beispielsweise Userdaten innerhalb einer Organisation ermöglicht dem User bessere Anpassungsfähigkeit und somit persönlichere Angebotsvorschläge, Werbeanzeigen uvm.
Data Mesh ähnelt der Microservice Architektur. Anders als bei Microservices wird durch Data Mesh aber auch das Bearbeiten von größeren Daten schnell ermöglicht. Es ermöglicht das Lagern von Daten in virtuellen Katallogen, die mit ihren, bereits abgeleiteten Werten, für den User anwendbar sind.
Dadurch, dass der Besitz von Daten durch die Data Mesh dezentralisiert ist, werden diese zu einem zugänglichen, sicheren und lokalisierbaren Produkt, welches jetzt Teil der neuen funktionsübergreifenden Infrastruktur ist.
Auch wenn es kein vorgeschriebenes Modell gibt, sind einige Fundamente für die Implementierung des Data Mesh erforderlich. Diese unterteilen wir in vier Kategorien:
- Domain Ownership
- Self- Service-Structure (Data Team)
- Federated Governance
- Data as a Product
Domains
Um Probleme der Wiederverwendbarkeit und Infrastruktur vermeiden zu können, steigen immer mehr Unternehmen auf das Prinzip der Domain Ownership um.
Die Maßnahme dieses Systems, ist das Umlagern der Datenverantwortung auf die verschiedenen Fachbereiche: die Domains. Ein Unternehmen hat viele verschiedene Teilbereiche. Das Domain Ownership Design sorgt für eine flache Hierarchie und für schnellere, effizientere Datenverarbeitung.
Um den Begriff einmal etwas anschaulicher zu erklären, nennen wir folgend ein Beispiel:
Für unser Exempel nehmen wir einen beliebigen Onlineshop. Das Verbreiten der Daten auf die spezialisierten Bereiche, – in unserem Beispiel wären es die Domains: Bezahlvorgang, Warenkorb, favorisierte Items etc.- führt zu einer vernetzten, real time Daten Integration. Die Daten werden in unserem Beispiel also durch das Verteilen auf kleine, spezialisierte Bereiche in Echtzeit nutzbar gemacht. Alle Domains verwalten ihre eigenen Produkte.
Auf der graphischen Darstellung 3 lassen sich die Grundaufgaben einer Domain erkennen. Jede Domain verarbeitet ihre Daten selbständig, um sie als ein Produkt im gesamten Paket anderen zu präsentieren und anderen Usern zur Verfügung zu stellen.
Sie werden dabei von der Self-Service Struktur, welche vom Data Team gestellt wird, unterstützt.
Data Team und Self-Service-Struktur
Wenn wir über die traditionelle Datenspeicherung und Verwaltung nachdenken, stellen wir uns eine große Ansammlung von Daten vor. Diese Daten müssen von einem zentralen, spezialisierten Team verarbeitet werden, damit sie für die Nutzer überhaupt nützlich sind. Die Teams müssen somit ständig mit einer großen Menge an Daten umgehen. Hierbei sind die Quellen der Informationen voneinander isoliert.
In der Data Mesh Struktur hat das Data Team im Gegensatz dazu nur eine unterstützende Aufgabe, da die eigentliche Datenverarbeitung wie oben bereits erwähnt, nun von den Domains selbst übernommen wird. Dies wird durch eine vom Data Team erstellte Infrastruktur arrangiert. Diese Infrastruktur ermöglicht den Nutzern analytisches Datenmanagement mit Self-Service-Funktionen. Das zentrale Data Team wird so entlastet und wirkt eher unterstützend. Das Team verbindet ursprünglich isolierte Daten und assistiert dem Unternehmen bei dem Übergang zu automatisierten Analysen von Daten in großem Maßstab. Jede Domain behält somit die Rechte für ihre Daten.
Dies verhindert eine monolithische Anwendungsarchitektur (siehe Abbildung 3), da Daten in eine Sammlung von Funktionen und Messwerten zerlegt werden können, die unabhängig von den anderen erstellt, gewartet und verbessert werden.
Federated Governance
Das Teilen von Daten in der Organisation bedeutet keinesfalls, dass alle Daten direkt von jeder anderen Domain eingesehen und genutzt werden können. Hierfür ist die dezentralisierte Data Governance zuständig, die trotz bestehender Data Democracy dafür sorgt, dass bestimmte Daten nur für die eigene Domain zugänglich bleiben.
Die Data Democracy ist eine Struktur, die die Daten für alle Mitarbeiter einer Organisation disponibel macht. Allen Mitarbeitern wird das Recht auf Nutzung der Unternehmensdaten gewährt. Die Person, die die Informationen benötigt und identifiziert, verpflichtet sich dazu, mit denselben sensibel umzugehen.
Die Richtlinien der Data Governance konzentrieren sich auf die Dokumentation, Qualität und Zugriff der Daten.
Für die Bestimmung der Qualität der Daten muss die Data Governance zwei Kriterien dekretieren:
- Die Korrektheit der Daten: richtige Angaben, für das Einfache Nachvollziehen des Inhaltes müssen gegeben sein
- Vollständigkeit: der Datensatz soll alle notwendigen Attribute enthalten
(Die Domains tragen dabei die Verantwortung für das effiziente und korrekte Bereitstellen der Daten nach den oben genannten Qualitätsmaßstäben.)
Die Leitsätze können zum Teil von den Domains festgelegt werden, da sie ihr Verständnis für die domainspezifische Daten in diese Lage versetzt, und das wiederum ermöglicht eine Grundlage für die Self-Service-Nutzung im gesamten Unternehmen nach dem Prinzip der Data Democracy.
Data as a Product
Um das Ziel erreichen zu können, die Verantwortung für spezifische Daten, dem jeweils dafür spezialisierten Bereich zu überlassen und auf ein zentrales, spezialisiertes Team zu verzichten, müssen wir in der Lage sein, Daten nicht nur als Messwerte, sondern auch als eigenständige Produkte zu definieren. Diese Datenprodukte aggregieren alles, was ein Datenkonsument benötigt, um aus den Daten der Geschäftsentitäten einen Mehrwert abzuleiten.
Wenn ein Unternehmen Daten als Produkt statt Nebenprodukt sieht, ist ein Grad der Data Maturity erreicht. Ist dieser Grad erreicht und die Organisation groß genug, um von dem Modell profitieren zu können, so kann Data Mesh die richtige Optionein.
Unten haben wir ein Data Maturity Diagramm aufgeführt, das die einzelnen Schritte zur effizienten Datennutzung erklärt. Für das richtige Unternehmen ist Data Mesh definitiv eine neue, schnelle Art der Datenspeicher- und Verarbeitung und ermöglicht somit einen Zeitgewinn, welcher einen klaren Vorteil am Markt schafft.
Data Mesh in der Praxis
Data Mesh dient nicht nur einer vereinfachten Verarbeitung und Verwaltung von Daten in Echtzeit. Das Konzept scheint erstmal nur im engen Rahmen nützlich zu sein, bietet aber in vielen Anwendungsbereichen auch die Möglichkeit zur authentischen und unternehmensbezogenen Weiterentwicklung. Folgend nennen wir ein paar Anwendungsmöglichkeiten für Data Mesh in der Praxis.
Anwendungsbereiche:
-
IT und Softwareentwicklung
- - sofortiger Zugriff auf angeforderte Daten ohne jegliche Einschränkung
-
Marketing
- - 360-Grad-Perspektive des Verbraucherverhaltens und -profils aus verschiedenen Systemen und Plattformen für gezieltere Kampagnen und Prägnanz
-
Künstliche Intelligenz und Machine Learning
- - das Freigeben von virtuellen Data Warehouses und Datenkatalogen aus unterschiedlichen Quellen für den beschleunigten Prozess zum unbegrenzten Potenzial des maschinellen Lernens
-
Finanzenbranche
- - Vermeidung von Verlusten und Betrügen durch Datenanalyse und ihre Verhaltensmodellierung
- - schnellere Einsicht zu geringeren Betriebskosten
- - Identifizieren von Risiken ohne das Replizieren und Transport von Daten in die zentrale Datenbank
-
Globale Nutzung
- - globale Analysen über mehrere Regionen hinweg mit End-to-End-Datenautonomie
Fazit
Der Wunsch zum konstanten Fortschritt im organisatorischen und integrationstechnischen Sinne ist immer mehr präsent und zeitgleich gibt es zunehmend mehr Organisationen, welche sich das Data Mesh Prinzip zunutze machen können.
Das Data Mesh Konzept ist ein Ansatz für eine potenzielle Revolution in der digitalen Arbeitswelt der Zukunft.
Die cimt ag unterstützt Sie gerne bei der Entscheidung, ob das Data Mesh Prinzip für Ihr Unternehmen von Vorteil ist. Ergreifen Sie die Initiative für optimale Unterstützung von unserem Team und vereinbaren Sie gerne ein beratendes Gespräch mit uns.
Jetzt registrieren und keine Veranstaltungen mehr verpassen.