แนวโน้มข้อมูลปี 2022 ตอนที่สอง: ความเป็นจริงเป็นไบต์ของ data mesh

สิ่งที่เราทำเกี่ยวกับ data mesh ได้รับการตอบรับในปีที่แล้วจนเรารู้ว่าหัวข้อนี้สมควรได้รับมุมมองของตัวเองในปี 2022

ตาม Google Trends "data mesh" เป็นหนึ่งในหัวข้อนั้น ทำลายอินเทอร์เน็ตในปี 2021 -- ยิ่งกว่า "data lakehouse" เสียอีก อย่างไรก็ตาม เป็นหัวข้อที่กล่าวถึงจุดที่เจ็บปวด: เราทิ้งทั้งหมด การจัดเรียงข้อมูลลงใน Data Lake หรือไซโลอื่นๆ จากนั้นเราจะสูญเสียการติดตามข้อมูลเหล่านั้นหรือใช้งานและควบคุมไม่เพียงพอ พวกเขา.

หลังจากบ่มเพาะมาสองสามปี ตอนนี้เราคาดว่า Data Mesh จะได้รับการตรวจสอบอย่างจริงจังเป็นครั้งแรก

Data mesh เป็นแนวคิดที่มีต้นกำเนิดมาจากคนที่คุณพูดคุยด้วย มาร์ค เบเยอร์

ที่ Gartner หรือ จามัค เดห์กานี ที่ Thinkworks สำหรับบันทึก พวกเขาทั้งสองใช้คำเดียวกัน และทั้งคู่กล่าวถึงการตัดการเชื่อมต่อที่เกิดขึ้นเมื่อคุณ สะสมข้อมูลจำนวนมหาศาล -- จากนั้นลองค้นหาว่าใครเป็นเจ้าของข้อมูลดังกล่าว และควรเข้าถึงข้อมูลดังกล่าวอย่างไร และ ปกครอง แต่นั่นคือทั้งหมด พวกเขามีเหมือนกัน

แนวคิดของ Gartner เป็นเรื่องเกี่ยวกับการจัดรูปแบบการจัดระเบียบเมตาดาต้าจากหลักการที่คล้ายกับเครือข่ายเมชทางกายภาพ ยืมแรงบันดาลใจมาจาก. กฎของเมตคาล์ฟเนื่องจากจำนวน "โหนด" ของข้อมูลเมตาใน data mesh มีจำนวนเพิ่มขึ้น ข้อมูลเมตาที่มีรูปแบบสมบูรณ์มากขึ้นก็จะยิ่งมากขึ้น (อาจมีรูปแบบหนึ่งของการเรียนรู้ด้วยตนเองของ AI ที่เกี่ยวข้อง) เนื่องจากการวิจัยของ Gartner ติดอยู่เบื้องหลังเพย์วอลล์ จึงไม่น่าแปลกใจที่แนวคิดที่พัฒนาขึ้นที่ Thoughtworks เข้ามาแทนที่การสนทนา มีพื้นฐานอยู่บนโดเมนที่จัดระเบียบด้วยตนเองและยึดแนวทางวงจรชีวิต การปฏิบัติต่อข้อมูลเป็นผลิตภัณฑ์โดยเข้าเป็นเจ้าของทุกสิ่งตั้งแต่ท่อข้อมูลไปจนถึงการกำกับดูแลและการรักษาความปลอดภัย ในการทำเช่นนั้น ทีมจะคิดให้กว้างขึ้นเกี่ยวกับข้อมูลของตน นอกเหนือจากการสร้างไปป์ไลน์หรือจัดระเบียบชุดข้อมูล

Data meshes จัดการกับข้อกังวลที่ถูกต้องหลายประการเกี่ยวกับข้อจำกัดของการจัดการจากบนลงล่างหรือการเป็นเจ้าของข้อมูล แต่ในปัจจุบัน ตามแนวคิดแล้ว Data Mesh ยังไม่ได้รับการพัฒนาอย่างสมบูรณ์ โดยเฉพาะอย่างยิ่งในด้านการบริการตนเองหรือการกำกับดูแลแบบสหพันธรัฐ แนวความคิดที่เกิดขึ้นของ data mesh คือโดเมนที่มีความเชี่ยวชาญเฉพาะด้านที่เหมาะสมควรเป็นเจ้าของข้อมูลและจัดการตั้งแต่ต้นจนจบ เป็นแนวทางจากล่างขึ้นบนในการจัดการข้อมูลและการกำกับดูแลที่ควรปรับปรุงความรับผิดชอบในทางทฤษฎี ข้อเสียก็คือ หากไม่ได้รับการจัดการอย่างเหมาะสม Data Mesh ก็สามารถขยายหรือเพิ่มจำนวนไซโลข้อมูลได้ ซึ่งนำไปสู่การสิ้นเปลือง ความซ้ำซ้อน และการจัดการและการกำกับดูแลที่ไม่สอดคล้องกัน

---

อีกด้วย: Data mesh: คุณควรลองทำที่บ้านหรือไม่?

---

เราไม่เชื่อว่าดาต้าเมชได้รับการกำหนดไว้อย่างเพียงพอที่จะทำงานข้ามองค์กรได้ แต่เราคิดว่าดาต้าเมชสามารถพิสูจน์ได้ว่ามีประสิทธิภาพเมื่อนำไปใช้ในระดับที่พอประมาณ โดยเฉพาะอย่างยิ่งเมื่อมีการนำไปใช้กับทีมที่มีบริบทร่วมกันซึ่งอาจเกิดขึ้นแล้ว จากประวัติความร่วมมือ และ/หรือ จากการมีเรื่องร่วมกัน ติดต่อกัน หรือทับซ้อนกัน ความเชี่ยวชาญ. ในองค์กร เราสามารถคาดการณ์กลุ่มของโครงข่ายข้อมูลที่เกิดขึ้นตามสาขาวิชาที่มุ่งเน้น เช่น ประสบการณ์ของลูกค้า การจัดการห่วงโซ่อุปทาน การพัฒนาผลิตภัณฑ์ และอื่นๆ

จนถึงขณะนี้ ผลงานที่เผยแพร่บน Data Mesh โดยทั่วไปแล้วเป็นไปในเชิงบวก และเราคาดว่าจะเห็นผู้ขายทั่วทั้งพื้นที่ข้อมูล "Data Mesh Wash" ผลิตภัณฑ์ของตนในปี 2022 เรากำลังพูดถึงฐานข้อมูล, BI, การกำกับดูแล, การแปลง ELT/ข้อมูล, การจัดทำแค็ตตาล็อกข้อมูล, การรวมแบบสอบถาม และการจัดการวงจรชีวิตของข้อมูล ผู้ขายจะส่งข้อความทางการตลาดเพื่อแสดงให้เห็นว่าข้อเสนอของพวกเขาสามารถสนับสนุนทีมที่กำลังสร้างตาข่ายข้อมูลได้อย่างไร ใช่แล้ว จะมีด้วยซ้ำ การประชุมเสมือนจริง เกิดขึ้นเร็วกว่าที่คุณคิด

แต่โปรดจำไว้ว่า data mesh เป็นกระบวนการและแนวทางทางสถาปัตยกรรมที่มอบหมายความรับผิดชอบสำหรับชุดข้อมูลเฉพาะให้กับ "โดเมน" ที่มีความเชี่ยวชาญเฉพาะด้านที่จำเป็น Data mesh ไม่ใช่เทคโนโลยี หวังว่าผู้ขายจะไม่กระโดดฉลามและวางตำแหน่งการเสนอขายของพวกเขาเป็น ตาข่ายข้อมูลสินค้า.

ความรู้สึกของเราที่กำลังจะฟันเฟืองนั้นเกิดขึ้นจากข้อความส่วนตัวมากมายที่เราได้รับหรือโพสต์ LinkedIn ของเรา ที่ให้ทีเซอร์สำหรับสิ่งที่เผยแพร่ที่นี่ จุดสำคัญของข้อความเหล่านั้นคือ Data Mesh อาจทำให้ปัญหาไซโลข้อมูลที่มีอยู่แล้วในองค์กรส่วนใหญ่รุนแรงขึ้น เราเชื่อว่านั่นเป็นข้อกังวลที่ถูกต้องมาก

แม้ว่า data mesh ที่เป็นแนวคิดจะได้รับการออกแบบอย่างสมบูรณ์และกันกระสุนได้ สัญญาณที่บ่งชี้ว่าแนวคิดนี้กำลังได้รับการพิจารณาอย่างจริงจังนั้นขึ้นอยู่กับระดับของการตรวจสอบข้อเท็จจริงของสาธารณะ ดังนั้น ความจริงที่ว่าการฟันเฟืองเกิดขึ้นนั้น แท้จริงแล้วเป็นการสะท้อนถึงระดับที่ดาต้าเมชถึงจุดที่เจ็บปวดอย่างแท้จริง

แต่ก็มีนักเตะอีกคน: ดาต้าเมชมักถูกเปรียบเทียบกับดาต้าแฟบริค. Data Fabric ได้รับการออกแบบมาเพื่อส่งเสริมการเข้าถึงข้อมูลทั้งในร้านค้าแบบลอจิคัลและแบบกายภาพ ดังนั้นเราจึงเชื่อว่าการเปรียบเทียบ Data Mesh กับ Data Fabric นั้นเป็นการแบ่งขั้วที่ผิด

ระงับความคิดนั้นไว้

ความท้าทายก็คือคำจำกัดความของ Data Fabric นั้นค่อนข้างคลุมเครือ ลองอันนี้จาก NetApp: "หัวใจของ Data Fabric คือสถาปัตยกรรมข้อมูลแบบผสานรวมที่ปรับเปลี่ยนได้ ยืดหยุ่น และปลอดภัย ในหลาย ๆ ด้าน Data Fabric เป็นแนวทางเชิงกลยุทธ์ใหม่ในการดำเนินการจัดเก็บข้อมูลระดับองค์กรของคุณ ซึ่งจะช่วยปลดล็อกสิ่งที่ดีที่สุดของระบบคลาวด์ คอร์ และ Edge" นั่นคลุมเครือเพียงพอสำหรับคุณหรือไม่ สำหรับจุดประสงค์ของเรา เราจะระบุว่า Data Fabric เริ่มต้นด้วยแบ็คเพลนเมตาดาต้าทั่วไป ดังนั้นเมื่อทีมต่างๆ อธิบายผลิตภัณฑ์ข้อมูลของตน พวกเขาทั้งหมดก็พูดจากแผ่นเพลงทั่วไป

นี่เป็นอีกหนึ่งการคาดการณ์ที่เน้นว่า data mesh และ data fabric มีการทำงานร่วมกันจริง ๆ: เราคาดหวังว่า metadata ทั่วไป แบ็คเพลนจะกลายเป็นปัญหาสลีปเดอร์ในปีนี้ โดยตอบสนองต่อความต้องการในการทำความเข้าใจข้อมูลทั้งหมด โดยเฉพาะอย่างยิ่งเมื่อมันสะสมอยู่ใน เมฆ.

คุณอาจไม่จำเป็นต้องใช้ดาต้าเมชเพื่อเริ่มสร้างดาต้าแฟบริค แต่หากคุณกำลังพิจารณาที่จะเริ่มโครงการริเริ่ม Data Mesh อย่าคิดที่จะดำเนินไปโดยปราศจาก Data Fabric บางรูปแบบ

นี่เป็นส่วนที่สองของ Data Outlook สำหรับปี 2022 คลิกที่นี่เพื่อดูส่วนที่หนึ่งโดยที่เรานำเสนอการผสานรวมการสตรีมแบบเรียลไทม์ การเรียนรู้ของเครื่อง และการจัดการข้อมูล