Ветеран Microsoft Боб Маглиа: графы реляционных знаний изменят бизнес

Боб Маглиа — что-то вроде барда баз данных, способного раскрыть обширные истории эволюции технологий.

Вот что такое Муглия, бывший исполнительный директор Microsoft и бывший генеральный директор Snowflake, сделал это в среду утром во время своего основного выступления на конференции The Knowledge Graph в Нью-Йорке.

Тема его доклада «От современного стека данных к графам знаний» объединила около пятидесяти лет технологии баз данных в одной новой форме.

Основная история такова: пять компаний создали современные платформы для анализа данных: Snowflake, Amazon, Databricks, Google и Azure, но эти платформы анализа данных не могут выполнять бизнес-аналитику, в том числе, что наиболее важно, представлять правила, лежащие в основе соблюдения и управление.

«Промышленность знает, что это проблема», — сказал Маглия. По его словам, пять платформ, представляющих «современный стек данных, позволили создать новое поколение этих очень и очень важных приложений для работы с данными». stack, и мы смотрим, что мы можем сделать эффективно, а что нет, я бы сказал, что проблема номер один, с которой сталкиваются клиенты со всеми пятью из этих платформ, — это управление».

Также: Создатель Ethernet Меткалф: Web3 будет иметь всевозможные «сетевые эффекты»

Маглиа, руководивший бизнесом SQL Server в Microsoft, помимо других достижений в построении баз данных за 30 лет своей карьеры, привел иллюстрации бизнес-правил, которые платформы данных не могут смоделировать.

«Итак, если вы хотите выполнить запрос, чтобы сказать: «Эй, расскажите мне обо всех ресурсах, к которым у Фреда Джонса есть доступ в этой организации» — это сложный запрос для написания», — сказал он. «На самом деле, это запрос, который, вероятно, не может эффективно выполняться в любой современной базе данных SQL, если организация очень большая и сложная».

Проблема, по словам Муглии, заключалась в том, что алгоритмы, основанные на языке структурированных запросов, или SQL, не могут выполнять такие сложные «рекурсивные» запросы.

«Было построено много поколений алгоритмов, и все они были созданы вокруг идеи двоичного алгоритма», — сказал Муглиа. «У них есть две таблицы с ключом для их объединения, а затем вы получаете результирующий набор, и оптимизатор запросов принимает и оптимизирует порядок этих соединений — бинарное соединение, бинарное соединение, бинарное соединение. присоединиться!"

Он сказал, что рекурсивные проблемы, такие как разрешения Фреда Джонса, «не могут быть эффективно решены с помощью этих алгоритмов, и точка».

Правильная структура деловых отношений, в отличие от отношений данных, по словам Муглии, — это граф знаний.

«Что такое граф знаний?» — риторически спросил Маглия. Он предложил свое собственное определение того, что иногда может быть загадочным понятием. «График знаний — это база данных, которая моделирует бизнес-концепции, отношения между ними и связанные с ними бизнес-правила и ограничения».

Муглия, теперь член совета директоров стартапа Реляционный ИИ, рассказал аудитории, что будущее бизнес-приложений будет за графами знаний, построенными поверх аналитики данных, но с той особенностью, что они будут использовать реляционное исчисление, восходящее к пионеру реляционных баз данных Э. Ф. Кодду.

«Вернитесь к началу», — призвал Муглиа. «Каковы фундаментальные алгоритмические возможности реляционной технологии, что с ней можно сделать?»

«Если мы посмотрим на то, что Кодд создал в 1970-х, теорема гласила, что реляционная алгебра и реляционные запросы точно эквивалентны по выразительной силе — так интересно! Я всегда знал, что это интересно, и теперь я знаю, почему».

Используя технологию реляционного ИИ, в частности технологию, разработанную основателем и генеральным директором Молхамом Арефом для оптимизации запросов, сказал Муглиа, в сочетании с графами знаний можно привнести ту же самую реляционную алгебру в организацию бизнеса. концепции.

«Если мы перешли к реляционным графам знаний, то теперь мы переходим к основам реляционного исчисления, и мы выдавать операторы реляционного исчисления, которые неупорядочены и содержат бизнес-правила и ограничения».

Работа по «фундаментальному пересмотру того, как мы можем использовать реляционную алгебру», по словам Муглии, продолжается примерно 20 лет, набрал обороты в 2010 году благодаря работе Арефа, а в многочисленных университетах и ​​компаниях, опубликовав сотни статей по этой теме, он сказал.

«Это были невероятные совместные усилия научно-исследовательских сообществ по всему миру», — сказал он. «Materialize использует его фундаментальным образом внутри Материализации, которую они выполняют. LinkedIn перенял часть этого через графическую базу данных, которую они используют под названием Liquid».

Реляционный граф знаний вводит новый язык под названием Rel, хотя «SQL остается важным», Маглия. сказал: «SQL не исчезнет», поскольку он служит своего рода пандусом в новый мир реляционных знаний. график.

«Я даже могу утверждать, что лучшие дни SQL еще впереди».

Маглиа предвидит «удивительный, удивительный потенциал с точки зрения разработки программного обеспечения, и из этого вытекают всевозможные вещи», — сказал он о графе реляционных знаний. «По мере развития технологии — и я хочу акцентировать внимание на том факте, что она еще не созрела, — но по мере развития технологии мы увидим то, о чем мы можем с ее помощью делать, о чем мы даже не могли мечтать».

Это включает в себя гораздо более широкое использование машинного обучения в бизнес-аналитике, как следует из названия «реляционный ИИ». Кроме того, бизнес-модель, по словам Маглиа, больше не будет «просто чем-то, что мы размещаем на доске, и инженеру нужно взглянуть на это, чтобы написать код Java».

«Модель, — сказал Муглиа, — становится программой, поэтому бизнес-аналитики могут участвовать и вносить изменения в структуры данных».

«Подумайте о тысячах людей, которые разбираются в этом бизнесе — подумайте об этом!»

По его словам, сейчас технология реляционного ИИ — это «довольно белая перчатка». «У нас есть ряд организаций, с которыми мы проводим ограниченные пробные версии», и компания надеется «открыть его для самообслуживания» в следующем году с «широкой бета-версией для разработчиков, чтобы люди могут зарегистрироваться и начать использовать систему». По его словам, это та же траектория, что и тогда, когда он запускал Snowflake в 2014 году, когда были выпущены ранние версии ее код.

«Мы находимся в начале совершенно новой эры», — сказал Маглия. «Это похоже на современный стек данных в 2013, 2014 годах — вот где мы находимся в этом жизненном цикле.

«И точно так же, как современный стек данных произвел революцию в аналитике, я полностью убежден, что графы знаний, и, в частности, реляционные графы знаний, изменят способ бизнес работает».

Конференция «График знаний» проводится уже четвертый год, начав с небольшого мероприятия в бальном зале Колумбийского университета в 2019 году. В этом году, после двух лет работы только в виртуальной среде, конференция превратилась в разросшийся гибрид. мероприятие с десятками панелей, а также живые выступления в кампусе Cornell Tech на острове Рузвельта в Нью-Йорке Город. Программа продлится до 6 мая. .