Ситуация на рынке данных и искусственного интеллекта в 2019 году: наступает следующая волна гибридов

Сейчас середина года, и, похоже, это время, когда венчурные капиталисты, внесшие свой вклад в игру, дают нам свои оценки ситуации на рынке данных и аналитики. Выбираю, где Big on Data, братан Джордж Анадиотис закончил со своим объемныйпокрытие на Состояние ИИ, мы направляем наше внимание на глубокое погружение в текущую рыночную ситуацию под руководством

ФёрстМарк Капитал партнер Мэтт Терк. Они провели очень подробный осмотр, и если вам нужна карта, вы можете нажать на эту ссылку. увеличиваемая ссылка.

Тёрк, который также является выдающимся техническим евангелистом в технологическом сообществе Нью-Йорка, возглавляет несколько самых продолжительных ежемесячных выпусков. данные и технологии умных устройств встречи в городе. В рамках своей повседневной работы его команда выпускает отчеты о ландшафте с тех пор, как 2012. Название отчета этого года является одним из изменений: они больше не называют это «большими данными», как сейчас выглядит этот термин в 2014 году. Теперь мы думаем об этом просто как о «данных», потому что анализ нереляционных данных больше не является чем-то исключительным; экономика облачных вычислений сделала доступными большие вычисления и большие хранилища; а также потому, что, кстати, произошел взрывной рост объемов данных и вариантов использования Интернета вещей, которые все больше проникают в нашу жизнь.

И пока мы говорим о технологиях, которые становятся все более распространенными, мы видим появление искусственного интеллекта. Он распространился от систем онлайн-рекомендаций к личным помощникам, а теперь и к прогнозной и предписывающей аналитике и теперь является центральным персонажем на рынке FirstMark. Поэтому неудивительно, что, учитывая расширенный охват, отчет этого года был разделен на два отдельных поста (здесь и здесь), который начинается с обзора социально-политических и нормативных тенденций, поскольку данные и аналитика влияют на жизнь людей. Вторая часть переходит к делу и погружается в рыночную ситуацию.

Краткое обобщение социального и политического ландшафта можно было бы резюмировать темой утраты невиновности. Возможно, мы уже устали, но злоупотребления, совершенные такими компаниями, как Cambridge Analytica, во время выборов 2016 года, выдвинули проблему за пределы башни из слоновой кости. Перенесемся в 2019 год, и похоже, что свобода технологий от государственного регулирования подходит к концу. Для начала есть GDPR и новые законы о конфиденциальности штата Калифорния. Чтобы избавиться от крючка, Марк Цукерберг даже требуя, чтобы Facebook регулировался. Тем не менее, несмотря на все новые мандаты и обеспокоенность по поводу конфиденциальности, в отчете отмечается, что мы все по-прежнему любим наши умные устройства, и даже несмотря на негативную критику в прессе, Facebook продолжает прибавлять подписчиков.

Для полноразмерного изображения: кликните сюда

Вторая часть начинается со слона в комнате. Противодействие тем, кто троллит Смерть Hadoop, в отчете представлен более детальный взгляд. В отличие от пяти лет назад, Hadoop больше не является единственным способом анализа больших данных; существуют облачные предложения от полной платформы до специализированных точечных сервисов, таких как Spark, потоковая передача, преобразование данных и искусственный интеллект. Более того, в облаке объектное хранилище, а не HDFS, становится фактически озером данных. Но с исчезновение MapR и слияние Hortonworks и Cloudera, по-прежнему существует здоровая клиентская база, насчитывающая как минимум пару тысяч клиентов "голубых фишек" - подавляющее большинство локальные — каждый из которых ежегодно платит шести- или семизначную сумму за поддержку (в мире открытого исходного кода это новый обслуживание). Эти рабочие нагрузки не переместятся в облако в одночасье.

Тем не менее, переход в облако не вызывает сомнений. Отчет FirstMark соответствует прогнозу, который мы сделали в Ovum, что к 2019 году большинство новый рабочие нагрузки больших данных начнутся в облаке. FirstMark ожидает этого, но с некоторой изюминкой. Поскольку они рассматривают облако для новых стратегических рабочих нагрузок, существует обеспокоенность по поводу привязки к поставщикам облачных услуг. Гибрид вступил в диалог. Это дало инфраструктурным игрокам, таким как IBM, которые упустили облако с первого раза, а также известным компаниям, занимающимся базами данных и хранилищами данных, возможно, некоторую надежду на второе дыхание. В обсуждении не затерялся Kubernetes, спящий проект Google с открытым исходным кодом, который делает возможным создание гибридных облаков. Это, конечно, побудило IBM Приобретение за 34 миллиарда долларов Red Hat, и это во многом отстает от Google, находящегося в зачаточном состоянии. Антос предлагает переупаковку своих сервисов Kubernetes, чтобы, по-видимому, вы могли запускать собственную рабочую нагрузку Google Cloud (без оборудования Google), смеем ли мы спросить, в AWS?

Но здесь мы уделим немного времени — Kubernetes все еще необработанный алмаз - Лучшие практики в области безопасности, балансировки нагрузки, конфигурации служб и т. д. продолжают работать. Тем не менее, у FirstMark есть еще один вариант. Они предполагают, что Kubernetes может спровоцировать отход от облачных сервисов машинного обучения, поскольку ученые, работающие с данными (и, как мы полагаем, инженеры по обработке данных), хотят иметь больший контроль над своей средой. Мы считаем, что машинное обучение жадно поглощает данные, и поэтому ключевым фактором, способствующим или препятствовавшим, в зависимости от вашей точки зрения, будет быть способность и желание предприятия хранить или обрабатывать все эти данные в помещениях, капитальные затраты и все. По нашему мнению, Kubernetes окажется слишком сложным для всех, кроме самых опытных корпоративных ИТ-специалистов. организаций, хотя миссия третьих лиц, таких как IBM или Pivotal, заключалась бы в том, чтобы спрятать всю эту сложность внутри черный ящик. Дерзайте.

В отчете также рассматривается состояние бессерверных вычислений для сложной аналитики и рабочих нагрузок машинного обучения, а также делается вывод, что еще слишком рано для прайм-тайма. Бессерверные технологии стали популярны благодаря гибкой разработке приложений с кратковременными процессами или для баз данных с нестабильными скачками трафика. Простота разработки бессерверных технологий, когда вы позволяете системе автоматически масштабировать объем вычислений, привлекательна для разработчики, практикующие Agile, но длительные процессы машинного обучения заставят бессерверные технологии оказаться в тупике, как эта ссылка Как указано в отчете FirstMark.

Еще одной проблемной областью станет управление и управление данными, проблема, которая усугубляется потоком новых и предлагаемых законов о конфиденциальности данных. Для ветеранов баз данных и бизнес-аналитики эти проблемы не являются чем-то новым. Когда у вас так много данных, как вы находите, что искать? Неудивительно, что каталоги данных появляются справа и слева — они предоставляются третьими лицами, такими как Алация и Данные ватерлиниии встроены в платформы данных, такие как Клаудеры. Например, Коллибра, который частично поддерживается Google Ventures, только что собрал 100 миллионов долларов, но в то же время это не помешало ребятам из Google Cloud открытие собственного каталога данных это пересекается с территорией Коллибры. Но не все каталоги данных одинаковы; некоторые из них представляют собой инструменты для совместной работы, которые используют машинное обучение для сканирования и построения запросов для доступа к данным, в то время как другие представляют собой прославленные словари данных.

Происхождение данных — это еще одна технология, которую в отчете FirstMark считают развивающейся. чтобы сообщить вам, откуда взялись данные, и предоставить контрольный журнал того, как они использовались, и желательно, ВОЗ. Хотя происхождение данных должно обеспечивать единый источник истины, проблема заключается в том, что инструменты аналитики, каталоги данных и Каждая платформа данных записывает свои собственные взгляды на происхождение данных, предоставляя последний пример того, что у нас слишком много хорошего. вещь.

Обзор рынка данных и аналитики в 2019 году не был бы полным, если бы не коснуться последнего раунда консолидации в сфере бизнес-аналитики. Google покупает Looker, Salesforce поглощает Tableauи в более скромных масштабах, Alteryx покупает данные ClearStory, и Logi Analytics покупает Zoomdata. Можно провести параллели с волной консолидации BI, произошедшей десять лет назад, когда Business Objects, Cognos и Hyperion были раскуплены SAP, IBM и Oracle соответственно. FirstMark предполагает, что эта история, возможно, еще не закончена, и спрашивает, может ли Amazon рассмотреть возможность приобретения для увеличения объема QuickSight. Мы считаем, что следующей волной инноваций в BI станет внедрение машинного обучения, которое действует в качестве цифрового помощника бизнес-аналитика, помогающего выбирать данные, очищать их и сообщать история. Вероятно, мы увидим большую часть этих инноваций в существующих инструментах, таких как Данные запроса Tableau запрос на естественном языке, но это также может стать стимулом для стартапов, которые проектируют себя вокруг естественного языка и цифровой помощи, а не модернизируют его.

Поскольку BI демократизировал аналитику, FirstMark рассматривает машинное обучение как следующий сегмент аналитики, созревший для развития рынка. Он сегментирует пространство под пару ведер. Первый, АвтоМЛ, который автоматизирует большую часть тяжелой работы по разработке и производству моделей ML, вызывает горячую критику со стороны обычных подозреваемых в облаке и третьих сторон, таких как Информационный робот. Существует вторая группа, в первую очередь сфера деятельности третьих лиц, таких как Датаику, РапидМайнер, и H2O, которые добавляют тяжелый компонент совместной работы. Мы ожидаем, что в отчете FirstMark за 2020 год будет показано, как эти инструменты — или другие, которым еще предстоит выйти из скрытности, — объясняют модели ИИ.

FirstMark также видит очаг активности ИИ в горизонтальных услугах, таких как компьютерное зрение, естественное языковая обработка, преобразование голоса в текст (и наоборот), которые коммерциализируют глубокое обучение бассейн. Но здесь есть одна оговорка: горизонтальные сервисы стучатся в двери того, что Терк называет общий искусственный интеллект (ИИ приближается к человеческим возможностям), на данный момент относительно неглубоки (они выполняют такие задачи, как перевод текста, но имеют ограниченные способности к настоящему мышлению). Таким образом, рынок находится на гораздо более ранней стадии развития. Есть общие услуги, такие как Признание Амазонкии начало вертикальных услуг, таких как ИИ контакт-центра Google. FirstMark отмечает значительные улучшения в базовых возможностях, таких как НЛП.

Мы всегда считали, что в конечном итоге наибольшую выгоду от ИИ принесет его встраивание в бизнес-приложения. Это большая часть стимула Инициатива SAP «Леонардо», который не является продуктом или набором продуктов как таковой, но одна из его ролей — быть для SAP лабораторией по выявлению возможностей для продуктовизации на основе взаимодействия с клиентами. Возможно, было бы слишком драматично называть этот корпоративный ИИ последним рубежом, но FirstMark считает, что через 3-4 года путь будет более длительным.