Data 2022 outlook, del to: Reality bytes datanettet

Vores bud på data mesh fik en sådan respons sidste år, at vi vidste, at emnet fortjente sit eget syn i 2022.

Ifølge Google Trends var "data mesh" et af de emner, der ødelagde internettet i 2021 - endnu mere end "data lakehouse." Det er dog et emne, der omhandler et smertepunkt: Vi dumper alle slags data ind i datasøer eller andre siloer, så mister vi overblikket over dem eller bruger og styrer ikke tilstrækkeligt dem.

Efter et par års inkubation forventer vi nu, at datamasker vil trække deres første seriøse undersøgelse.

Data mesh er en idé, der, afhængigt af hvem du taler med, er opstået af

Mark Beyer hos Gartner el Zhamak Dehghani hos Thoughtworks. For ordens skyld brugte de begge det samme udtryk, og de adresserer begge den afbrydelse, der opstår, når du samle enorme mængder af data -- og prøv derefter at finde ud af, hvem der ejer dem, og hvordan de skal tilgås og styret. Men det er det hele de har til fælles.

Gartners koncept handler mere om at mønstre organiseringen af ​​metadata ud fra principper, der er beslægtet med fysiske mesh-netværk. Lån inspiration fra Metcalfes lov, efterhånden som antallet af metadata-"knudepunkter" i et datanet breder sig, jo mere fuldt udformet bliver metadataene (der kan være en form for AI-selvlæring involveret). Med Gartner-forskningen fast bag en betalingsmur, burde det ikke være overraskende, at konceptet udviklet hos Thoughtworks overtog samtalen. Det er baseret på selvorganiserende domæner, der sætter livscyklustilgange på behandle data som produkter, der tager ejerskab over alt fra datapipelines til styring og sikkerhed. På den måde tænker teams mere bredt om deres data end blot at bygge pipelines eller organisere datasæt.

Datamasker adresserer en række gyldige bekymringer om begrænsningerne ved top-down-styring eller ejerskab af data. Men på nuværende tidspunkt, som koncept, er datanet endnu ikke fuldstændigt udfyldt, især når det kommer til selvbetjening eller fødereret styring. Den gængse forestilling om datamasker er, at domænerne med den relevante fagekspertise skal være dem, der ejer dataene og administrerer dem fra vugge til grav. Det er en bottom-up-tilgang til datastyring og -styring, som teoretisk burde forbedre ansvarlighed. Ulempen er, at datamasker, hvis de ikke administreres korrekt, kan forstærke eller udbrede datasiloer, hvilket fører til spild, duplikering og inkonsekvent styring og styring.

---

Også: Data mesh: Skal du prøve dette derhjemme?

---

Vi mener ikke, at datanetværk er tilstrækkeligt defineret til at fungere på tværs af virksomheder, men vi tror, ​​at datanetværk kan vise sig at være effektive, når de implementeres i en mere beskeden skala. Specifikt når de implementeres på tværs af teams, der allerede deler en fælles kontekst, der kan stamme fra historier om samarbejde og/eller fra at have delt, tilstødende eller overlappende emne ekspertise. I en virksomhed kunne vi forudse grupper af datamasker, der opstår omkring fokuserede discipliner, såsom kundeoplevelse, supply chain management, produktudvikling og så videre.

Indtil nu har det samlede arbejde, der er offentliggjort om datamasker, generelt været positivt, og vi forventer at se leverandører på tværs af dataområdet "datameshvaske" deres produkter i 2022. Vi taler om databaser, BI, governance, ELT/datatransformation, datakatalogisering, forespørgselsføderation og informationslivscyklusstyring. Leverandører vil udsende marketingmeddelelser for at vise, hvordan deres tilbud kan understøtte teams, der bygger datanetværk. Ja, det vil der endda være en virtuel konference sker hurtigere end du tror.

Men husk på, at datamesh er en proces- og arkitektonisk tilgang, der uddelegerer ansvaret for specifikke datasæt til de "domæner", der har den nødvendige ekspertise. Data mesh er ikke en teknologi. Forhåbentlig vil leverandører ikke springe over hajen og placere deres tilbud som data meshProdukter.

Vores følelse af forestående tilbageslag stammer fra de mange private beskeder, vi modtog to vores LinkedIn-opslag som giver en teaser til, hvad der blev offentliggjort her. Kernen i disse beskeder var, at datamasker kunne forværre datasiloproblemer, som allerede eksisterer i de fleste virksomheder. Det mener vi er en meget berettiget bekymring.

Selv hvis datamasker som koncept var fuldstændigt udfyldt og skudsikkert, er et tegn på, at ideen bliver taget alvorligt, ved graden af ​​offentlig kontrol. Så det faktum, at der opstår et tilbageslag, er faktisk en afspejling af graden af, at datamasker har ramt et reelt smertepunkt.

Men der er også en anden kicker: datamasker er ofte blevet sammenlignet med datastrukturer. Datastrukturer er designet til at fremme adgang til data på tværs af logiske og fysiske lagre, så vi mener, at kontrasterende datamasker til datastrukturer er en falsk dikotomi.

Hold den tanke.

En udfordring er, at definitionen af ​​datastruktur er ret sløret. Prøv denne fra NetApp: "Et datastof er i sit hjerte en integreret dataarkitektur, der er adaptiv, fleksibel og sikker. På mange måder er et datastof en ny strategisk tilgang til din virksomheds storage-drift, en der låser op for det bedste fra cloud, core og edge." Er det fuzzy nok for dig? Til vores formål vil vi blot sige, at et datastof starter med et fælles metadata-bagplan, så når forskellige teams beskriver deres dataprodukter, taler de alle fra et fælles nodeark.

Her er endnu en forudsigelse, der fremhæver, at datamasker og datastrukturer faktisk har synergi: Vi forventer, at almindelige metadata backplanes vil blive et problem med sovepladser i år, idet de reagerer på behovet for at give mening i alle data - især da de akkumuleres i skyen.

Du behøver muligvis ikke et datanet for at begynde at bygge et datastof. Men hvis du overvejer at starte et datamesh-initiativ, så tænk ikke engang på at komme i gang uden en form for datastruktur.

Dette er anden del af vores Data Outlook for 2022. Klik her for del et, hvor vi giver vores bud på streamingkonvergens i realtid, maskinlæring og datastyring.