Ausblick auf die Daten 2022, Teil zwei: Die Realität durchdringt das Datennetz

Unsere Sicht auf Datennetze hat letztes Jahr eine solche Resonanz hervorgerufen, dass wir wussten, dass das Thema im Jahr 2022 einen eigenen Ausblick verdient.

Laut Google Trends war „Data Mesh“ eines der Themen hat das Internet im Jahr 2021 kaputt gemacht – sogar noch mehr als „Data Lakehouse“. Allerdings ist es ein Thema, das einen Punkt anspricht, der uns schmerzt: Wir werfen alles weg Wenn wir verschiedene Arten von Daten in Data Lakes oder andere Silos verlagern, verlieren wir den Überblick oder nutzen und verwalten sie nicht angemessen ihnen.

Nach ein paar Jahren der Inkubation gehen wir nun davon aus, dass Datennetze zum ersten Mal einer ernsthaften Prüfung unterzogen werden.

Data Mesh ist eine Idee, die, je nachdem, mit wem Sie sprechen, ihren Ursprung hat Mark Beyer bei Gartner oder Zhamak Dehghani bei Thoughtworks. Fürs Protokoll: Sie haben beide den gleichen Begriff verwendet, und sie befassen sich beide mit der Unterbrechung, die auftritt, wenn Sie Sammeln Sie riesige Datenbestände an – und versuchen Sie dann herauszufinden, wem sie gehören und wie auf sie zugegriffen werden sollte regiert. Aber das ist auch schon alles sie haben etwas gemeinsam.

Bei Gartners Konzept geht es eher darum, die Organisation von Metadaten nach Prinzipien zu strukturieren, die denen physischer Mesh-Netzwerke ähneln. Inspiration leihen von Metcalfes GesetzJe größer die Anzahl der Metadaten-„Knoten“ in einem Datennetz, desto vollständiger werden die Metadaten (es könnte eine Form von KI-Selbstlernen im Spiel sein). Da die Gartner-Forschung hinter einer Paywall steckt, sollte es nicht überraschen, dass das bei Thoughtworks entwickelte Konzept die Diskussion übernahm. Es basiert auf selbstorganisierenden Domänen, die Lebenszyklusansätze abstecken Daten als Produkte behandelnund übernimmt die Kontrolle über alles, von den Datenpipelines bis hin zu Governance und Sicherheit. Auf diese Weise denken Teams umfassender über ihre Daten nach, als nur Pipelines zu erstellen oder Datensätze zu organisieren.

Datennetze berücksichtigen eine Reihe berechtigter Bedenken hinsichtlich der Einschränkungen der Top-Down-Verwaltung oder des Dateneigentums. Als Konzept sind Datennetze derzeit jedoch noch nicht vollständig ausgereift, insbesondere wenn es um Self-Service oder föderierte Governance geht. Die gängige Idee von Datennetzen ist, dass die Domänen mit der entsprechenden Fachkompetenz diejenigen sein sollten, die die Daten besitzen und sie von der Wiege bis zur Bahre verwalten. Es handelt sich um einen Bottom-up-Ansatz für Datenmanagement und Governance, der theoretisch die Rechenschaftspflicht verbessern sollte. Der Nachteil besteht darin, dass Datennetze, wenn sie nicht ordnungsgemäß verwaltet werden, Datensilos verstärken oder ausbreiten können, was zu Verschwendung, Duplizierung und inkonsistenter Verwaltung und Governance führt.

---

Auch: Datennetz: Sollten Sie das zu Hause ausprobieren?

---

Wir glauben nicht, dass das Datennetz ausreichend definiert ist, um unternehmensübergreifend zu funktionieren, aber wir glauben, dass sich Datennetze als effektiv erweisen könnten, wenn sie in einem bescheideneren Maßstab implementiert werden. Insbesondere wenn sie in Teams implementiert werden, die bereits einen gemeinsamen Kontext haben, kann dies zu Problemen führen aus der Geschichte der Zusammenarbeit und/oder aus gemeinsamen, benachbarten oder überlappenden Themen Sachverstand. In einem Unternehmen könnten wir die Entstehung von Gruppen von Datennetzen rund um bestimmte Disziplinen wie Kundenerfahrung, Lieferkettenmanagement, Produktentwicklung usw. erwarten.

Bisher waren die veröffentlichten Arbeiten zu Datennetzen im Allgemeinen positiv, und wir gehen davon aus, dass Anbieter im gesamten Datenbereich ihre Produkte im Jahr 2022 „überarbeiten“. Wir sprechen über Datenbanken, BI, Governance, ELT/Datentransformation, Datenkatalogisierung, Abfrageföderation und Informationslebenszyklusmanagement. Anbieter werden Marketingbotschaften veröffentlichen, um zu zeigen, wie ihre Angebote Teams unterstützen können, die Datennetze aufbauen. Ja, das wird es sogar geben eine virtuelle Konferenz passiert schneller, als Sie denken.

Bedenken Sie jedoch, dass es sich bei Data Mesh um einen Prozess- und Architekturansatz handelt, der die Verantwortung für bestimmte Datensätze an die „Domänen“ delegiert, die über die erforderliche Fachkompetenz verfügen. Data Mesh ist keine Technologie. Hoffentlich überspringen die Anbieter nicht den Haken und positionieren ihre Angebote als solche DatennetzProdukte.

Unser Gefühl einer bevorstehenden Gegenreaktion rührt von den zahlreichen privaten Nachrichten her, die wir erhalten habeno unser LinkedIn-Beitrag die einen Vorgeschmack auf das geben, was hier veröffentlicht wurde. Der Kern dieser Meldungen war, dass Datennetze die in den meisten Unternehmen bereits bestehenden Probleme mit Datensilos verschärfen könnten. Wir glauben, dass dies ein sehr berechtigtes Anliegen ist.

Auch wenn das Konzept der Datennetze vollständig ausgearbeitet und stichhaltig wäre, ist der Grad der öffentlichen Kontrolle ein Zeichen dafür, dass die Idee ernst genommen wird. Die Tatsache, dass es zu einer Gegenreaktion kommt, spiegelt also tatsächlich wider, inwieweit die Datennetze einen echten Schmerzpunkt erreicht haben.

Aber es gibt noch einen weiteren Kicker: Datennetze wurden oft mit Datenstrukturen verglichen. Data Fabrics sollen den Zugriff auf Daten über logische und physische Speicher hinweg fördern. Daher glauben wir, dass die Gegenüberstellung von Data Meshes und Data Fabrics eine falsche Dichotomie darstellt.

Behalte diesen Gedanken.

Eine Herausforderung besteht darin, dass die Definition von Data Fabric ziemlich unklar ist. Probieren Sie dieses von NetApp aus: „Eine Datenstruktur ist im Kern eine integrierte Datenarchitektur, die anpassungsfähig, flexibel und sicher ist. In vielerlei Hinsicht ist eine Data Fabric ein neuer strategischer Ansatz für den Speicherbetrieb Ihres Unternehmens, der das Beste aus Cloud, Core und Edge erschließt.“ Ist Ihnen das unklar genug? Für unsere Zwecke sagen wir einfach, dass eine Datenstruktur mit einer gemeinsamen Metadaten-Backplane beginnt. Wenn also verschiedene Teams ihre Datenprodukte beschreiben, sprechen sie alle von einem gemeinsamen Notenblatt.

Hier ist eine weitere Vorhersage, die hervorhebt, dass Datennetze und Datenstrukturen tatsächlich Synergien haben: Wir erwarten, dass gemeinsame Metadaten vorhanden sind Backplanes werden in diesem Jahr zu einem Schläferthema werden, da sie auf die Notwendigkeit reagieren, alle Daten zu verstehen – insbesondere, wenn sie sich darin ansammeln die Wolke.

Möglicherweise benötigen Sie kein Datennetz, um mit dem Aufbau einer Datenstruktur zu beginnen. Aber wenn Sie erwägen, eine Data-Mesh-Initiative zu starten, denken Sie nicht einmal daran, ohne irgendeine Form von Data Fabric loszulegen.

Dies ist der zweite Teil unseres Datenausblicks für 2022. Klicken Sie hier für Teil eins, wo wir unsere Meinung zu Echtzeit-Streaming-Konvergenz, maschinellem Lernen und Datenmanagement darlegen.