Datu 2022. gada perspektīva, otrā daļa. Datu tīkla realitāte baitos

Mūsu skatījums uz datu tīklu pagājušajā gadā guva tik lielu atsaucību, ka zinājām, ka šī tēma ir pelnījusi savu perspektīvu 2022. gadā.

Saskaņā ar Google Trends "datu tīkls" bija viena no tēmām, kas salauza internetu 2021 — pat vairāk nekā "datu ezera māja". Tomēr tā ir tēma, kas pievēršas sāpīgajam punktam: mēs visu izmetam dažāda veida datus datu ezeros vai citos rezervuāros, tad mēs tos zaudējam vai arī netiek atbilstoši izmantoti un pārvaldīti. viņiem.

Pēc pāris gadiem ilgas inkubācijas mēs tagad sagaidām, ka datu tīklam tiks veikta pirmā nopietnā pārbaude.

Datu tīkls ir ideja, ko radīja atkarībā no tā, ar ko jūs runājat

Marks Beijers pie Gartner vai Žamaks Deghani vietnē Thoughtworks. Piezīme: viņi abi izmantoja vienu un to pašu terminu, un tie abi risina atvienošanos, kas rodas, kad jūs uzkrāt milzīgus datu krājumus un pēc tam mēģināt noskaidrot, kam tie pieder un kā tiem vajadzētu piekļūt, un pārvalda. Bet tas arī viss viņiem ir kopīgs.

Gartnera koncepcija ir vairāk par metadatu organizācijas modelēšanu pēc principiem, kas ir līdzīgi fiziskiem tīkla tīkliem. Iedvesmu aizgūt no Metkalfa likums, jo palielinās metadatu "mezglu" skaits datu tīklā, jo pilnīgāk veidojas metadati (var būt iesaistīta kāda AI pašmācības forma). Tā kā Gartner pētījums ir iestrēdzis aiz maksas sienas, nevajadzētu pārsteigt, ka sarunu pārņēma Thoughtworks izstrādātā koncepcija. Tas ir balstīts uz pašorganizējošiem domēniem, kuru pamatā ir dzīves cikla pieejas datu apstrāde par produktiem, uzņemoties īpašumtiesības uz visu, sākot no datu vadiem līdz pārvaldībai un drošībai. To darot, komandas domā plašāk par saviem datiem, ne tikai veidojot cauruļvadus vai organizējot datu kopas.

Datu tīkli atrisina vairākas pamatotas bažas par datu lejupējās pārvaldības vai īpašumtiesību ierobežojumiem. Taču pašlaik datu tīkli vēl nav pilnībā pilnveidoti, jo īpaši attiecībā uz pašapkalpošanos vai federālo pārvaldību. Datu tīklu pastāvošais jēdziens ir tāds, ka domēniem ar atbilstošām priekšmeta zināšanām ir jābūt tiem, kam pieder dati un kas tos pārvalda no šūpuļa līdz kapam. Tā ir augšupēja pieeja datu pārvaldībai un pārvaldībai, kurai teorētiski vajadzētu uzlabot pārskatatbildību. Negatīvā puse ir tāda, ka nepareizi pārvaldīti datu tīkli var pastiprināt vai izplatīt datu rezervuārus, izraisot izšķērdēšanu, dublēšanos un nekonsekventu pārvaldību un pārvaldību.

---

Tāpat: Datu tīkls: vai jums vajadzētu to izmēģināt mājās?

---

Mēs neuzskatām, ka datu tīkls ir pietiekami definēts, lai tas darbotos starp uzņēmumiem, taču mēs uzskatām, ka datu tīkli varētu izrādīties efektīvi, ja tie tiek ieviesti pieticīgākā mērogā. Konkrēti, ja tie tiek ieviesti komandās, kurām jau ir kopīgs konteksts, kas var rasties no sadarbības vēstures un/vai no kopīgas, blakus esošas vai pārklājošas tēmas ekspertīze. Uzņēmumā mēs varētu paredzēt datu tīklu grupas, kas veidojas ap mērķtiecīgām disciplīnām, piemēram, klientu pieredzi, piegādes ķēdes pārvaldību, produktu izstrādi un tā tālāk.

Līdz šim par datu tīkliem publicētā darba kopums kopumā ir bijis pozitīvs, un mēs sagaidām, ka 2022. gadā pārdevēji visā datu telpā “datu tīklu izmazgās” savus produktus. Mēs runājam par datu bāzēm, BI, pārvaldību, ELT/datu transformāciju, datu kataloģizēšanu, vaicājumu federāciju un informācijas dzīves cikla pārvaldību. Pārdevēji publicēs mārketinga ziņojumus, lai parādītu, kā viņu piedāvājumi var atbalstīt komandas, kas veido datu tīklus. Jā, pat būs virtuālā konference notiek ātrāk, nekā jūs domājat.

Taču paturiet prātā, ka datu tīkls ir procesa un arhitektūras pieeja, kas deleģē atbildību par konkrētām datu kopām "domēniem", kuriem ir vajadzīgās zināšanas par tēmu. Datu tīkls nav tehnoloģija. Cerams, ka pārdevēji nelēks haizivs un neizvietos savus piedāvājumus kā datu tīklsproduktiem.

Mūsu sajūta par gaidāmo pretreakciju izriet no daudzajām privātajām ziņām, ko saņēmām to mūsu LinkedIn ziņa kas sniedz informāciju par šeit publicēto. Šo ziņojumu būtība bija tāda, ka datu tīkli var saasināt datu rezervuāra problēmas, kas jau pastāv lielākajā daļā uzņēmumu. Mēs uzskatām, ka tas ir ļoti pamatots jautājums.

Pat ja datu tīkli kā jēdziens būtu pilnībā pilnveidoti un necaurlaidīgi, zīme, ka ideja tiek uztverta nopietni, ir sabiedrības kontroles pakāpe. Tātad fakts, ka notiek pretreakcija, patiesībā atspoguļo pakāpi, kādā datu tīkli ir saskārušies ar patiesu sāpju punktu.

Bet ir arī vēl viens kicker: datu tīkli bieži ir pretstatīti datu tīkliem. Datu audumi ir izstrādāti, lai veicinātu piekļuvi datiem loģiskajos un fiziskajos krātuvēs, tāpēc mēs uzskatām, ka datu tīklu kontrastēšana ar datu struktūrām ir nepareiza dihotomija.

Turiet šo domu.

Problēma ir tāda, ka datu struktūras definīcija ir diezgan miglaina. Izmēģiniet šo no NetApp: "Datu struktūra savā būtībā ir integrēta datu arhitektūra, kas ir adaptīva, elastīga un droša. Daudzos veidos datu kopums ir jauna stratēģiska pieeja jūsu uzņēmuma krātuves darbībai, kas nodrošina vislabāko mākoņa, kodola un malas funkcionalitāti." Vai tas jums ir pietiekami neskaidrs? Mūsu vajadzībām mēs tikai norādīsim, ka datu struktūra sākas ar kopēju metadatu aizmugures plakni, tāpēc, kad dažādas komandas apraksta savus datu produktus, tās visas runā no kopīgas mūzikas lapas.

Šeit ir vēl viena prognoze, kas uzsver, ka datu tīkliem un datu struktūrām faktiski ir sinerģija: mēs sagaidām, ka kopīgie metadati aizmugures plaknes šogad kļūs par miega problēmu, reaģējot uz vajadzību izprast visus datus, jo īpaši tāpēc, ka tie uzkrājas mākonis.

Lai sāktu veidot datu audumu, iespējams, nav nepieciešams datu tīkls. Bet, ja apsverat iespēju uzsākt datu tīkla iniciatīvu, pat nedomājiet par to, kā rīkoties bez kāda veida datu struktūras.

Šī ir mūsu datu perspektīvas 2022. gadam otrā daļa. Noklikšķiniet šeit, lai skatītu pirmo daļu, kurā mēs sniedzam savu viedokli par reāllaika straumēšanas konverģenci, mašīnmācīšanos un datu pārvaldību.