بائعو Hadoop يستمعون: Hortonworks تصبح عملية

هذا الكائن هادوب عيد الميلاد العاشر (والخامس لـ Hortonworks)، ليس من المستغرب أن تنمو كل من المنصة والشركة بشكل لا بأس به - وبالطبع لا يزال أمامهما بعض النمو للقيام به.

لقد قطعت المنصة نفسها شوطا طويلا. منذ الأيام الأولى لـ Hadoop، عندما تم تعريفها على أنها مجرد تخزين (HDFS) وحوسبة (MapReduce)، تحتوي منصة اليوم على العشرات من النواة والمفتوحة المنافسة. تتناول مكونات المصدر العديد من ميزات التدبير المنزلي المرتبطة بقواعد البيانات، بدءًا من إدارة العمليات ووصولاً إلى الأمان وحماية البيانات والبيانات الحكم.

و هورتونوركس لقد قطعت شوطا طويلا من شركة مفتوحة المصدر خالصة للمنتج الواحد.

لقد أصبح المصدر المفتوح نموذج التسليم الافتراضي لمنصات البيانات الناشئة، كما سنناقش ذلك في مقال قادم. لكن النموذج الخالص مفتوح المصدر، كما تبنته Hortonworks، كان نادرًا بسبب التساؤل حول مكان عنوان IP الفريد الخاص بهم. بالنسبة إلى Hortonworks، كان الجواب هو أن لديهم، اعتمادًا على من يقوم بالعد، أكبر كتلة من الملتزمين بمجتمع مشاريع Apache Hadoop.

لن يعترفوا بذلك، ولكن في الآونة الأخيرة أصبحت شركة Hortonworks تشبه منافسيها كثيرًا، كلاوديرا و ماب آر، في تقديم محتوى خاص بالبائع. وهذا في الواقع أمر جيد، خاصة إذا كنت عميلاً يتطلع إلى تنفيذ بحيرة بيانات، ومن هو يريد ضمانًا بأن مزود التكنولوجيا الخاص بك سيتمتع بالملكية الفكرية الفريدة (والحس التجاري) ليكون على المدى الطويل لاعب.

تتم الشقوق الأولى في الجدار من خلال ترتيب OEM الذي تمتلكه شركة Hortonworks الآن على نطاق واسع, مزامنة، و محوري لحالات الاستخدام الأمثل لمستودع البيانات. إنهم يعيدون بيع AtScale لتوفير واجهة OLAP لـ Hadoop، لتحسين أداء استعلام BI وإعداد التقارير؛ Syncsort DMX-h لمعالجة ETL؛ وتقنية SQL التفاعلية HAWQ من Pivotal (أصبحت هذه التقنية مفتوحة المصدر بالفعل). تعد استراتيجية إعادة البيع منطقية نظرًا لأن تحسين مستودع البيانات يعد سوقًا ناضجًا له قاعدة مستهدفة محددة وكبيرة بما فيه الكفاية. قابلة للنقاش هي ميزات مثل سمارت سينس التي تعرض إحصاءات الصحة العنقودية في أمباري، والتي لا تتوفر إلا من خلال الاشتراك في Hortonworks Data Platform.

ولكن باعتبارك أحد عملاء المؤسسات، فلن تهتم بالنموذج مفتوح المصدر الذي يمتلكه مزود التكنولوجيا الخاص بك؛ يهمك ما إذا كان نموذج أعمالهم قابلاً للتطبيق.

ويعكس نضج Hadoop المتزايد كمنصة مؤسسية، حيث تم الكشف عن الموضوعات الرئيسية للتحسينات في قمة هادوب لقد قمنا بربط النقاط بإدارة البيانات وتحسين الأداء وسهولة الاستخدام. ومن بين الإعلانات، قامت شركة Hortonworks بتوسيع قدرة أطلس، أداة نسب البيانات، من دعم خلية نحل (حيث توجد البيانات) لاستيعاب العمليات الأولية بما في ذلك كافكا (لوضع الرسائل في قائمة الانتظار) و عاصفة (للتدفق). وهذا يعني أنه يمكن وضع علامة على البيانات في Atlas، ليس فقط عند وصولها إلى Hive، ولكن عند نقطة الاستيعاب، إذا كنت تستخدم أحد محركات البث المدعومة من Hortonworks.

مع توفير أطلس البيانات الوصفية لنسب البيانات، الحارس يمكن تنفيذ أمن البيانات؛ تمت إضافة إمكانات لإخفاء الأعمدة وتصفية الصفوف ديناميكيًا في Hive لتحديد كيف يمكن للأشخاص ذوي الأدوار المختلفة رؤية البيانات وكيف سيشاهدونها. وفي المقابل، تقوم شركة Zeppelin، وهي شركة Hortonworks التي تدخل مجال أجهزة الكمبيوتر المحمولة المزدحمة بعالم البيانات، بدمج بيانات الاعتماد مع Ranger لفرض التحكم في الوصول للممارسين الذين يستخدمون Spark.

تعمل شركة Hortonworks أيضًا على الانخفاض حامض على الخلية - على الرغم من أننا لا نتحدث عن ACID الصارم المرتبط بأنظمة المعاملات. في هذه الحالة، نحن نتحدث عن القدرة على تحديث وحذف البيانات من الخلية. وهذا شيء لم يكن ممكنًا حتى الآن إلا من خلال نظام الملفات الأساسي الخاص بـ MapR. ولا تكمن الأهمية في مجرد التفاخر، بل في تقليل العبء الإضافي لتحديث الخلية، خاصة عندما تتدفق البيانات بمعدل مرتفع. تم الإعلان عن معاينة التكنولوجيا في المؤتمر.

يعمل مشروع ذو صلة لتحسين أداء الاستعلام التفاعلي على Hive على الاستفادة من تقنية التخزين المؤقت الناشئة في الذاكرة، والتي تحمل العلامة التجارية لاب (أ شرط التي ستكون مألوفة لمحبي Star Trek) والتي تتضمن أيضًا إمكانات استباقية دقيقة لضمان أن المهام المجمعة طويلة الأمد لن تؤدي إلى اختناق طلبات الاستعلام التفاعلية ذات الأولوية الأعلى. مشروع آخر ذو صلة هو خادم الاستعلام الجديد لـ فينيكس، المشروع لوضع وجه SQL عليه HBase. المفارقة في خادم الاستعلام هي أنه بينما تم تصميم Phoenix لجعل HBase أكثر ملاءمةً لـ SQL، يركز خادم الاستعلام الجديد على واجهات برمجة التطبيقات (APIs) لبدائل لغة البرمجة مثل C++ و.NET و بايثون.

ربما يكون الانطباع ذاتيًا، لكن جعل Hadoop مكانًا أفضل تحكمًا هو استجابة مباشرة للمؤسسات التي تخطط لبحيرات البيانات. بحكم التعريف، تعد بحيرات البيانات موارد مؤسسية، تشبه إلى حد كبير بيانات المؤسسة السابقة لها المستودعات، وبالتالي تحتاج إلى المزيد من الإمكانات التي تساعدك على فهم البيانات الموجودة فيها بالضبط هناك. وفي مقال آخر، سنناقش إدارة بحيرة البيانات. ويكفي أن نقول أنه من أحدث الإعلانات من Hortonworks، يستمع بائعو Hadoop.

أنظر أيضا:

• أخبار قمة Hadoop: نظام النظام البيئي والتجزئة
• تعلن شركة Hortonworks عن تحالفات وإصدارات جديدة؛ Hadoop يأتي إلى مفترق الطرق
• تقوم Hortonworks بتجديد مجموعتها، وتحتضن أيضًا Apache Spark
• تقوم Hortonworks بإصلاح إيقاع التحديث، وتتعاون مع HPE