Pivotal представляє платформу відкритих даних Hadoop, поглиблює посилання Hortonworks і код з відкритим кодом

Спираючись на очевидний успіх свого проекту Cloud Foundry PaaS, EMC і VMware, що виділяються Pivotal сьогодні представили прихильників нової ініціативи, спрямованої на визначення основного набору технологій Apache для прискорення впровадження Hadoop.

The Open Data Platform's засновники - GE, Hortonworks, IBM, Infosys, Основний, SAS і AltiScale, Capgemini, CenturyLink, EMC, Teradata, Splunk, Verizon і VMware – тестуватимуть і сертифікувати низку основних компонентів Apache, які потім стануть основою їхніх платформ Hadoop.

«Для нас це надзвичайно важливе оголошення. Це еквівалент кроку Cloud Foundry Foundation для платформи як послуги», — сказав старший директор вихідного продукту Pivotal Майкл Куччі. «Це той самий калібр подій для великих даних і аналітики великих даних — і, очевидно, спеціально для швидкого прискорення Hadoop».

У січні Pivotal заявив, що за останні три квартали 2014 року продажі Cloud Foundry склали 40 мільйонів доларів. Відкритий код Cloud Foundry Foundation, яка запустила рік тому з семи організацій-учасниць, зараз налічує понад 45 членів. Цього тижня компанія повідомила, що в 2014 році забезпечила замовлення програмного забезпечення для великих даних на 100 мільйонів доларів.

Шон Конноллі, віце-президент із корпоративної стратегії платинового учасника платформи відкритих даних Hortonworks, сказав, що його компанія заснувала ініціатива з Pivotal, щоб забезпечити чітко визначену платформу для екосистеми Hadoop і допомогти мінімізувати фрагментацію та дублювання зусиль.

«Це сильний клич для об’єднання ринку навколо спільного ядра, на яке галузь може розраховувати. Він має достатню участь у різних точках зору, щоб бути впевненим, що він відображає потреби не лише планів постачальників, але й кінцевих користувачів», – сказав Конноллі.

«Це дуже добре узгоджено з процесами Apache Software Foundation, тому що ми збільшуватимемо внески через ці проекти Apache. Інновації в цих проектах прискоряться завдяки участі ширшої спільноти, що, відверто кажучи, розширить корпоративні можливості в основній платформі, якими люди зможуть скористатися з."

Конноллі описав процес об’єднання кінцевих користувачів, постачальників і окремих людей у ​​спільноті для співпраці над спільним набором цілей як «складний».

«Але якщо ви подивитеся на нашу історію роботи з ініціативою Stinger та Data Governance Initiative, ми маємо більше ніж кілька років демонстрації того, що ми можемо поєднати ці світи», – сказав він.

«Дехто може дивитися на Pivotal, IBM та інших як на конкурентів. Ми повинні відкинути ці розбіжності вбік і зосередитися на тому, що ми можемо зробити разом. Ось про що ця ініціатива. Це просто результат спільної роботи та зміцнення довіри, і ми до цього звикли. Це справді суть відкритого коду».

Конноллі сказав, що ініціатива також спрямована на зменшення складності та плутанини в галузі Hadoop, що може стати перешкодою для впровадження.

«Якщо ви подивитеся на індустрію Hadoop, то там є компоненти спільних імен. Існують різні версії цих компонентів, які мають різні можливості, різні протоколи та несумісність API. Те, на що спрямовані ці зусилля, — це стабільна версія тих, що позбавляє від здогадок ширшої екосистеми», — сказав він.

«У спільноті є багато релізів — релізи ранні та релізи часто через характер нововведення це трапляється з моделлю з відкритим вихідним кодом, тому важко визначити, яку версію стандартизувати на."

Компанія Pivotal, що вийшла з EMC і VMware у 2013 році, заявила, що платформа відкритих даних працюватиме безпосередньо з конкретні проекти Apache, дотримуючись інструкцій Apache Software Foundation щодо внесення ідей і код. Мета полягає в тому, щоб підвищити сумісність і полегшити роботу програм і інструментів у будь-якій сумісній системі.

Еталонне ядро ​​компонентів Hadoop включатиме рівень керування ресурсами YARN та інструмент моніторингу та забезпечення Ambari.

Конноллі сказав, що платформа відкритих даних буде відкрита для будь-якої іншої компанії, яка бажає взяти участь.

«Ми не плануємо виключати гравців. Насправді ми намагаємося переконатися, що ми включимо якомога більше цих гравців, залежно від того, як вони хочуть брати участь", - сказав він.

«Найбільш цікавим для широкого ринку є те, як ви полегшуєте швидке розгортання рішень, побудованих на основі Hadoop, а також інших технологій великих даних. Отже, чим швидше розвиватиметься ринок, тим краще буде наш бізнес».

Почалося поглиблення стосунків у липні минулого року з їхньою співпрацею над Ambari, Pivotal і Hortonworks тепер запровадять єдиний підхід у «стратегічному та комерційному альянсі».

Окрім спільного використання набору базових компонентів Hadoop і деяких заходів підтримки, дві компанії координуватимуть розробку Hadoop зусиль, у тому числі зосереджених на ключових службах, таких як інтерфейс Hadoop SQL HAWQ, які Hortonworks пропонуватиме як частину свого платформа.

Майкл Куччі з Pivotal сказав, що мета полягає в тому, щоб передові сервіси його фірми працювали на платформі даних Hortonworks.

«HAWQ буде доступний на Hortonworks, а потім ми продовжимо інтеграцію GemFire ​​[NoSQL in-memory database] і Greenplum у їхній дистрибутив Hadoop. У майбутньому це також буде перенесено на інші дистрибутиви платформ даних, у чому полягає суть цієї ініціативи [платформи відкритих даних]», — сказав він.

«Насправді ми збираємося надавати розширену підтримку Hortonworks клієнтам Pivotal HD [дистрибутив Pivotal Hadoop], щоб клієнти отримають найкращу у світі підтримку для HAWQ від нас і вони отримають найкращу у світі підтримку для Hadoop від Hortonworks».

Шон Конноллі з Hortonworks сказав, що відносини між двома компаніями дозволять клієнтам використовувати таких технологій, як HAWQ або GemFire ​​на архітектурі на основі YARN на платформі даних Hortonworks або з Pivotal HD.

«Але якщо клієнт купує, наприклад, продукт Pivotal Hadoop, і у нього виникають проблеми з компонентами, які в основному належать Hortonworks, у нас є комітери у спільноті відкритих вихідних кодів, які працюють над цим - Pivotal може прискорити цю справу підтримки від своєї команди підтримки до експертів Hortonworks. Тож ми зможемо безперешкодно надавати клієнтам Pivotal підтримку рівня 2 і 3», — сказав він.

Крім анонсу Open Data Platform, Pivotal також оприлюднив плани відкрити її частини з відкритим кодом технології великих даних, включаючи ядро ​​масової паралельної обробки бази даних Greenplum, HAWQ і GemFire.

Майкл Куччі з Pivotal сказав, що відкритий вихідний код основних компонентів Big Data Suite сприятиме поширенню технологію спільнотою та дозволити постачальникам програмного забезпечення та інфраструктури використовувати код і розширювати його це.

«Ми збираємося випустити наші основні базові пропозиції, і вони будуть повністю функціональними базами коду з відкритим кодом. Однак ми збираємося стримувати розширені функції», – сказав він.

«Ви можете думати про це як про модель подвійного ліцензування, де є основна функціональність продукту спільнота з відкритим вихідним кодом, але деякі додаткові функції будуть доступні через ліцензування Головне».

Прикладами розширених функцій, які Pivotal зарезервує для корпоративного ліцензування, є Pivotal Query Optimizer від Greenplum, Orca та опції WAN для GemFire.

«Ми будемо стримувати такі речі, як з’єднання WAN. Таким чином, клієнт може масштабувати GemFire ​​в одному місці, але якщо він хоче створити справді глобальні розподілені бази даних корпоративного класу, він звернеться до Pivotal для підключення до WAN», – сказав Куччі.

«HAWQ дуже схожий на Greenplum. Це найдосконаліше у світі рішення SQL-on-Hadoop, і причина його найдосконалішого полягає в тому, що воно базується на тому ж оптимізаторі запитів і виконавці, що й у Greenplum. Тож HAWQ буде дуже схожий на Greenplum. Оптимізатор запитів буде стримано, а також кілька інших корпоративних функцій. Зараз ми знаходимося в середині визначення точних особливостей цього матеріалу».

Big Data Suite від Pivotal, який тепер доступний у хмарі, на Cloud Foundry і пізніше цього року як фізично захищений пристрій, також додано кілька нових служб даних, включаючи фреймворк прийому даних Spring XD, сховище ключ-значення Redis і повідомлення RabbitMQ брокер.

Більше про Hadoop і великі дані

• Генеральний директор Databricks: чому так багато компаній захоплені Apache Spark
• MySQL: Percona підключає механізм зберігання TokuDB для великих наборів даних
• Cloudera співпрацює з розробником Hadoop Cask
• Mesosphere та MapR об’єдналися через Myriad, щоб створити одну платформу великих даних, яка керуватиме ними всіма
• Teradata розгортає програми для великих даних, оновлює Loom
• Генеральний директор MapR розповідає про Hadoop, можливості IPO на 2015 рік
• Teradata купує виробника архівних програм RainStor
• Hortonworks розширює програму сертифікації та прагне прискорити впровадження Hadoop на підприємствах
• Actian додає до свого арсеналу механізм аналізу графіків SPARQL City
• Загальний випуск бази даних SQL на Hadoop від Splice Machine