Azure डेटा एक्सप्लोरर को नया इंजन, कई संवर्द्धन और Synapse एकीकरण मिलता है

आज, एक समर्पित पर ऑनलाइन घटना के लिए एज़्योर डेटा एक्सप्लोरर (एडीएक्स), माइक्रोसॉफ्ट सेवा में कई संवर्द्धन की घोषणा कर रहा है, जिसमें अगली पीढ़ी की रिलीज भी शामिल है अंतर्निहित इंजन और एकीकरण बिंदुओं की एक श्रृंखला जो इसे अधिक सुलभ, अधिक आकर्षक और अधिक बनाएगी उपयोगी। एडीएक्स, जिसका उपयोग अक्सर टेलीमेट्री डेटा लेक वर्कलोड और एक सेवा के रूप में विश्लेषणात्मक समाधान के लिए किया जाता है, अब समग्र रूप से इससे भी तेज चलेगा इसमें कई अनुकूलन होंगे और यह कई अन्य डेटा सेवाओं, स्ट्रीमिंग डेटा स्रोतों और डेटा विज़ुअलाइज़ेशन से जुड़ेगा समाधान। इससे उस सेवा को मदद मिलेगी जो बहुत सफल है लेकिन विशेष रूप से प्रसिद्ध नहीं है, यहां तक ​​कि एज़्योर एनालिटिक्स विशेषज्ञों के बीच भी, अधिक मुख्यधारा की अपील हासिल करने में मदद करेगी।

प्रदर्शन में प्रचुर वृद्धि होती है

ADX में कौन सी नई सुविधाएँ आ रही हैं? आरंभ करने के लिए, माइक्रोसॉफ्ट कोर इंजन का एक नया संस्करण पेश कर रहा है (पूर्वावलोकन में, जीए फरवरी में अपेक्षित है), जो डेटा को क्वेरी करने के लिए एक पूरी तरह से अलग रणनीति लेता है। Kusto v3 इंजन वांछित क्वेरी के कई संस्करण उत्पन्न करेगा, सबसे तेज़ का उपयोग करेगा, और निष्पादित करने से पहले इसे मूल कोड में संकलित करेगा, ताकि यह अधिकतम गति से चले। v3 इंजन में अनुक्रमण परत को भी फिर से लिखा गया है। इन परिवर्तनों के परिणामस्वरूप, Microsoft का कहना है कि क्वेरीज़ 2x और 30x के बीच तेज़ी से चलेंगी।

और इस कच्चे प्रदर्शन लाभ से परे, एडीएक्स अब स्व-ताज़ा भौतिक दृश्य, क्वेरी परिणाम सेट कैशिंग और कॉन्फ़िगर करने योग्य शार्डिंग/विभाजन की पेशकश करेगा। मशीन लर्निंग मॉडल के साथ वास्तविक समय में स्कोरिंग - जिसमें होस्ट किए गए मॉडल भी शामिल हैं एज़्योर मशीन लर्निंग साथ ही अन्य प्लेटफ़ॉर्म से पैक किए गए ONNX प्रारूप -- भी जोड़ा जा रहा है। फास्ट फूरियर ट्रांसफॉर्म, भू-स्थानिक जोड़ और बहुपद प्रतिगमन भी शामिल हैं। एडीएक्स को पंक्ति-स्तरीय सुरक्षा क्षमताएं भी मिल रही हैं जो इसे उन ग्राहकों के लिए अधिक आकर्षक बनाएगी जो उपयोगकर्ताओं की एक विस्तृत श्रृंखला का समर्थन करना चाहते हैं, जिनमें से कुछ सभी डेटा तक निर्बाध पहुंच के योग्य नहीं हो सकते हैं।

एकीकरण 

डेटा एकीकरण पक्ष पर, ADX अब एक एडाप्टर को स्पोर्ट करता है अपाचे काफ्का वह गोल्ड द्वारा प्रमाणित है मिला हुआ, काफ्का के रचनाकारों द्वारा स्थापित कंपनी। के बीच अब एकीकरण भी है धाराप्रवाह बिट और एडीएक्स, के माध्यम से एज़्योर ब्लॉब संग्रहण, जिससे फ़्लुएंट बिट अब डेटा वितरित कर सकता है और जिससे ADX इसे स्वचालित रूप से ग्रहण करने में सक्षम है (और रहा है)। साथ ही, ADX की 1-क्लिक अंतर्ग्रहण और स्ट्रीमिंग अंतर्ग्रहण सुविधाएं, जिन्हें Microsoft ने पूर्वावलोकन में पहले ही जारी कर दिया था, अब आम तौर पर उपलब्ध (GA) हैं।

यह भी पढ़ें: फास्टली, माइक्रोसॉफ्ट ने एज़्योर डेटा एक्सप्लोरर के साथ रियल-टाइम एनालिटिक्स पर साझेदारी की है

डेटा विज़ुअलाइज़ेशन के लिए, ADX अब एक देशी डैशबोर्ड सुविधा प्रदान करेगा, जहाँ डेटा अन्वेषण प्रश्नों से लौटाए गए विज़ुअलाइज़ेशन को टाइल्स के रूप में पिन किया जा सकता है। यह सुविधा पहले इस वर्ष जून में पूर्वावलोकन में जारी की गई थी; और ऐसा डैशबोर्ड, जो फीचर के दस्तावेज़ से लिया गया है, इस पोस्ट के शीर्ष पर छवि में दिखाया गया है। इन देशी डैशबोर्ड के अलावा, ADX भी एकीकृत होगा ग्राफाना, एक प्लगइन के माध्यम से जो अब एक ग्राफिकल क्वेरी बिल्डर की पेशकश करेगा।

विशेष रूप से Microsoft पारिस्थितिकी तंत्र में, ADX अब क्वेरी करने योग्य होगा एज़्योर डेटा स्टूडियो (जो अब तक ज्यादातर SQL सर्वर के साथ काम करने के लिए एक उपकरण रहा है); के साथ एकीकृत होगा Azure डेटा शेयर; समर्थन करेंगे वीनेट और पैरामीटरयुक्त DirectQuery एकीकरण के साथ पावर बीआई; और, एक डेटा कनेक्टर के माध्यम से, एक लिंक्ड सेवा के रूप में काम करेगा एज़्योर सिनैप्स एनालिटिक्स. इसके अलावा, माइक्रोसॉफ्ट के रोडमैप में ADX का पूर्ण रूप से एकीकरण शामिल है देशी सिनैप्स सेवा, जाहिरा तौर पर उसी तरह से Azure डेटा फ़ैक्टरी, या और भी अपाचे स्पार्क, आज है।

अवश्य पढ़ें:

• Azure Synapse Analytics डेटा वेयरहाउस, झील और पाइपलाइनों को जोड़ती है
  
• एज़्योर सिनैप्स एनालिटिक्स: एक प्रगति रिपोर्ट
  
• एज़्योर सिनैप्स एनालिटिक्स डेटा लेक की विशेषताएं: करीब से
  

यह पहले से ही अच्छा था

यह ध्यान रखना महत्वपूर्ण है कि यह सारी नई शक्ति और बहुमुखी प्रतिभा उस सेवा के ऊपर रखी जा रही है जो पहले से ही बड़े पैमाने पर शक्तिशाली थी। एडीएक्स माइक्रोसॉफ्ट की आंतरिक "कुस्टो" तकनीक का व्यावसायीकरण है जो माइक्रोसॉफ्ट जैसी सेवाओं को शक्ति प्रदान करता है एज़्योर मॉनिटर, माइक्रोसॉफ्ट इंट्यून, Azure समय श्रृंखला अंतर्दृष्टि, और डायनेमिक्स 365 उत्पाद अंतर्दृष्टि. भले ही एक अच्छी तरह से गुप्त रखा गया हो, यह शुरुआत से ही एक अभूतपूर्व और अभिनव क्लाउड सेवा थी।

माइक्रोसॉफ्ट ने कहा है कि मौजूदा Kusto इंजन का संस्करण (v2) एक सेकंड से कम समय में एक अरब पंक्तियों से अधिक क्वेरी चला सकता है। वह प्रदर्शन इतना अच्छा है कि दावा लगभग अतिशयोक्ति जैसा लगता है, जो यह बता सकता है कि सभी ग्राहक ADX की शक्ति की सराहना क्यों नहीं कर सकते और तुरंत इसे उपयोग में नहीं ला सकते। फिर भी, ADX Azure क्लाउड में कुल 1 मिलियन से अधिक CPU कोर पर चलता है, 35 पेटाबाइट्स की दर से नया डेटा ग्रहण करता है। दिन, और अब संचयी 2+ एक्साबाइट्स संग्रहीत करता है।

विकास से विकास उत्पन्न होता है

वैसे, एक एक्साबाइट एक हजार पेटाबाइट या दस लाख टेराबाइट्स के बराबर है। और माइक्रोसॉफ्ट के अनुसार, इस साल जनवरी में एडीएक्स का संचयी डेटा वॉल्यूम एक एक्साबाइट था। दूसरे शब्दों में, ADX का प्रबंधन के तहत कुल डेटा पिछले 9 महीनों में पूरी तरह से दोगुना हो गया है, इसमें कोई संदेह नहीं है कि यह COVID-19 महामारी और इसके डिजिटल परिवर्तन में तेजी के कारण संभव हुआ है।

स्पष्ट रूप से, तब, ADX को वास्तव में "बांह में शॉट" की आवश्यकता नहीं थी, लेकिन बेहतर प्रदर्शन, क्षमताएं और एकीकरण इसे बेहतर दृश्यता भी देगा। एक मजबूत एज़्योर डेटा एक्सप्लोरर को एक मजबूत सिनैप्स एनालिटिक्स, एक मजबूत एज़्योर मशीन लर्निंग, एक मजबूत बनाना चाहिए एचडीइनसाइट और अधिक मूल्यवान एज़्योर डेटा लेक स्टोरेज परत। सेवाओं के बीच मजबूत तालमेल प्रत्येक सेवा को अपने आप में अधिक मूल्यवान बना सकता है। Synapse Analytics पहले से ही Azure के लिए ऐसा कर रहा था; उम्मीद है, एडीएक्स उस सहक्रियात्मक प्रभाव को और बढ़ा सकता है।