Плани Microsoft щодо великих даних: визнайте, сприйміть, інтегруйте

  • Oct 18, 2023

Цього тижня в Торонто відбулася всесвітня партнерська конференція корпорації Майкрософт, на якій були присутні понад 16 000 людей. Так було з Big Data.

Microsoft провела щорічний Всесвітня партнерська конференція (WPC) у Торонто цього тижня. Незважаючи на те, що захід проводиться в Північній Америці, це єдиний подібний захід протягом усього року, де завгодно, і відвідуваність справді міжнародна. У Microsoft заявили, що цього року понад 16 000 людей із 156 країн відвідали WPC. За будь-якими мірками це велике шоу, і цього року Microsoft мала багато чого сказати про Big Data. Під час доповідей, секційних сесій чи круглих столів лише за запрошеннями, повідомлення було присутнім.

По-перше, факти: Microsoft співпрацює з Hortonworks створити дистрибутив Hadoop для Windows Azure, його хмарної платформи та для Windows Server. Наразі служба доступна як хмарна служба в бета-версії за запрошенням, яка щойно вийшла в третій випуск. Дистрибутив включає Hadoop себе, Вулик, свиня, HBase, Скуп, Махаут і «Пегас» Карнегі Меллона система видобутку графів.

Кістка Hadoop з’єднана з кісткою SQL
У підході Microsoft до великих даних цікаво те, що компанія бачить Hadoop як частина його загальної платформи даних. Можливо, тому головний операційний директор Microsoft, Кевін Тернер, назвав стратегію компанії у сфері великих даних під час свого основного виступу, сказавши, що «ми досягаємо великих даних». Тернер також зазначив, що SQL Server від Microsoft зараз є лідером на ринку реляційних баз даних за кількістю проданих одиниць, і продовжує рости. І незважаючи на численні технологічні відмінності між реляційними базами даних і системою розподілених обчислень Як і Hadoop, Microsoft бачить, що технологія Big Data з відкритим кодом ідеально підходить до її стратегії корпоративних даних.

У дистрибутиві Microsoft Hadoop є компоненти, які допомагають узгодити його з технологією Enterprise. Наприклад, дистрибутив містить дуже потужну консоль на основі браузера, що забезпечує графічний інтерфейс для запуску завдань MapReduce; командна консоль на основі JavaScript, яка також містить команди Pig і HDFS; а також інтерактивну консоль Hive. Дистрибутив Microsoft також дозволяє писати сам код MapReduce на JavaScript (а не на Java) і надає Драйвер ODBC для Hive, що полегшує підключення до Hadoop із Excel і більшості Microsoft Business Intelligence стек.

Залишайтеся на повідомленні
Куди йдуть технології, йдуть і повідомлення для партнерів. На сесії про можливості, які надає незалежним постачальникам програмного забезпечення (ISV) SQL Server, Microsoft Директор із партнерського маркетингу SQL Server, Боб Бейкер, зокрема згадав зусилля Microsoft Hadoop і ті самі зв’язки зі стеком BI. І справа не лише в платформі даних. Під час обговорення круглого столу, в якому я брав участь ключового члена команди великих даних Microsoft, це стало досить ясно, що Microsoft бачить, що технологія підходить для всього центру обробки даних і хмарного продукту стратегія.

Дані Bing
Чому Microsoft так оптимістично ставиться до технології з відкритим вихідним кодом, заснованої на Java та в основному орієнтованої на Linux? Швидше за все, це тому, що Microsoft запускає Bing. За деякими підрахунками, Bing і Yahoo Search (який працює на базі Bing) разом мають близько 30% частки пошукового ринку, і Тернер оголосив у своїй доповіді, що зараз Bing лідирує в Google за релевантністю пошуку.

Хоча я точно не впевнений, хто чи як це виміряв, факт полягає в тому, що Bing — це гаряче ложе Big Data. Фактично, за словами одного члена команди Microsoft Big Data, з яким я спілкувався, обсяг даних Bing зараз становить 250 петабайт (ПБ) і зростає на 8 ПБ/місяць. З такою кількістю даних не дивно, що Bing використав Hadoop з великою перевагою. І враховуючи, що президент корпорації Майкрософт із серверів і інструментів (STB), Сатья Наделла, раніше був віце-президентом відділу досліджень і розробок відділу онлайн-сервісів Microsoft (до якого входить Bing), і що SQL Server підпадає під організацію STB, дружба Hadoop і SQL Server не є такою дивною після все.

Припливна хвиля великих даних
Microsoft не є компанією Big Data як такою. Це не венчурне фінансування, це не стартап, і його основна бізнес-модель, звичайно, не побудована навколо відкритого коду. Microsoft є a програмне забезпечення і Microsoft вважають, що великі дані та Hadoop все більше стають частиною корпоративного програмного забезпечення. Як це було в 1990-х з TCP/IP та самим Інтернетом, Microsoft використовує Hadoop, інтегрує його та робить доступним для бізнес-користувачів. Цей практичний підхід до Hadoop і Big Data, швидше за все, стане нормою в усьому світі Enterprise. Для понад 16 000 учасників Всесвітньої партнерської конференції Microsoft такий підхід став нормою в їхньому світі.