Что делать с данными? Эволюция платформ данных в мире после больших данных

Примечание. Выдающийся идейный лидер Эстебан Кольски, основатель и управляющий директор ThinkJar, раньше делал гостевые посты в этом блоге. Снова и снова этот парень просто объясняет, в чем состоит суть современного мышления и как к нему подойти.

На этот раз он затрагивает суть того, как развивается деловой мир и что нужно для достижения преобразующего успеха, а это означает экосистемы и платформы.

Этот пост — первый из двух, которые он разместит здесь. (Вторая часть выйдет на следующей неделе.) Идея этих постов родилась из исследования, которое Эстебан только что закончил. Radius, компания, которая позиционирует себя как поставщик платформ данных клиентов (CDP) для получения доходов в сфере B2B. команды. Это исследование вдохновило больше, чем просто публикацию с рыночными данными; это важное размышление о том, куда движутся платформы данных в мире, который решил (более или менее) большие данные.

Итак, Эстебан, начинай действовать...

---

Спасибо, Пол, за то, что позволили мне использовать ваш блог для обсуждения данных и платформ данных. Я хочу разделить исследование, которое я провел, на две публикации (для облегчения восприятия). Первый (этот) об эволюции данные, и второй (следующий) об эволюции платформ данных.

В последнее время в «интернете лидеров мысли» было много дискуссий о том, как лучше всего агрегировать данные. Мы говорим об озерах данных, болотах, BI, MDM, CDP и многом другом, но ничто из этого не дает простого решения проблемы оптимизации использования данных в организации, подвергшейся цифровой трансформации.

Также: IBM Cloud Private for Data готовит сертификацию Red Hat OpenShift и инструмент поиска queryplex

Проблема недавно поднялась на уровень руководства, где я веду разговоры о различиях между ними всеми. Где начались все эти проблемы? Рад, что вы спросили.

Эволюция данных: с чего все началось

Проблема возникла из-за ошеломляющих объемов данных.

К 2025 году объем всех данные размер созданного файла составит 163ZB (зеттабайт). Предприятия столкнутся с 50-кратным увеличением объема данных, которыми им придется управлять. Это то, что мы начали использовать последние пять-шесть лет под названием большие данные. Как и все технологические решения, они быстро превратились в «решения», направленные на решение проблем, а не на решение существующих проблем.

То, что доступно сегодня, сосредоточено на огромном объеме доступных данных (больших данных) и способах их хранения, а не на извлечении из них пользы. Если бы мы хотели только обрабатывать данные, движение больших данных было бы хорошо, но поскольку мы хотим большего (полезная информация стала Святым Граалем данных). обработка вскоре после начала работы с большими данными и начало цифровой трансформации), нам необходимо найти различные ценностные предложения для этой приливной волны. из данные.

За последние 10 лет мы наблюдали медленный переход от простых хранимых демографических данных к многомерным. использование данных: мы отошли от создания огромных электронных хранилищ данных и начали использовать их в в режиме реального времени; К сожалению, сегодня большая часть корпоративных данных по-прежнему хранится в разрозненных системах и ожидает обработки. Ценность достигается за счет агрегирования нужных данных из множества источников и их эффективного и эффективного использования. эффективно решать бизнес-задачи и оптимизировать процессы, а для этого нам необходимо понять, что данные показывают, а не только сами данные.

У нас нет проблем с поиском данных, мы можем найти больше, чем нам нужно. Проблема сводится к правильному его использованию.

Также: Apache Flink принимает ACID

Предприятия начинают понимать концепцию управления данными, ориентированного на результат и ориентированного на клиента. операции, а также необходимость цифровой трансформации (обеспечение легкого и плавного потока данных по всему миру). предприятие). У большинства из них есть ранние стратегии и операции.

Самой большой проблемой остается понимание того, как данные влияют на транзакции и процессы (какие данные и как использовать его для достижения намеченных бизнес-результатов) и неспособность извлечь уроки из прошлого Результаты. Вот где «золото в этих холмах» — использование извлеченных уроков для обеспечения непрерывной оптимизации, а не просто разовых улучшений. Корреляция между цифровыми стратегиями и существующими данными — вот что требует платформы данных, но сначала нам нужно устранить серьезные эксплуатационные проблемы.

Мы обнаружили четыре проблемы, с которыми сталкиваются организации при использовании данных:

Плохая операционализация. У всех предприятий есть инструменты аналитики, но не те. Как объединить все эти инструменты в общую модель данных и затем использовать ее для ведения бизнеса — это стратегия операционализации, которую упускает большинство компаний.

Плохие данные, такое случается. Эпоха "большие данные«привело к тому, что плохие данные в среднем на предприятиях составили 40 процентов. Плохое агрегирование данных сопряжено с риском, и инструменты, которые мы используем, направлены не на решение этой проблемы, а, скорее, на увеличение размера хранимых данных.

Истощенные ресурсы. У всех организаций, с которыми я общаюсь, одна и та же проблема: недостаточно квалифицированных ресурсов (людей, денег, технологий, времени) для выполнения необходимой работы с данными.

Понимание. Все знают, что означают данные; существует множество определений, и мы почти всегда использовали его для ведения бизнеса. Но мало кто понимает, как это работает. Виновником является отсутствие управления данными и инвестиций по мере роста компании.

Методы управления, хранения, манипулирования, аналитики — все они радикально изменились за последние несколько лет и создали мир больших данных. Они просто создали еще больший беспорядок: слишком много данных, недостаточно идей, полученных на их основе. данные.

Также: Большие данные теперь — это экономика, а не только технология Техреспублика

И неправильные инструменты, чтобы делать это хорошо в будущем.

Мир больших данных и что с ними делать

Мы живем в мире после больших данных.

Первоначальное обещание большие данные -- соберите достаточно информации, и вы найдете способ ее использования, который улучшит операции и результаты - не удалось. Перефразируя The Notorious B.I.G, чем больше данных мы встречаем, тем больше проблем мы видим.

В итоге мы получили множество данных в хранилищах, изолированных друг от друга, что перегружало пользователей. которые пытаются понять, как его использовать, и ИТ-специалисты, которые пытаются понять, как управлять это.

Это начало затруднительного положения в мире после появления больших данных.

Большинство больших коллекций данных неточны, обширны, сложны и, как правило, хранятся в хранилищах. Организация считает, что у них есть данные - но то, что у них есть, - это одно из двух: шум, который никогда не преобразуется в сигнал и только помогает в конечном итоге. поставщики хранилищ или несвязанные, некоррелированные, разрозненные и неверные данные, которые бесполезны, потому что они не знают, как и зачем их хранить. используй это.

Также: Сила Интернета вещей и больших данных

Собираемые, обрабатываемые, хранимые и используемые данные всегда должны соответствовать определенной цели. Раньше компания определяла цель, но теперь клиент требует конкретных результатов, которые меняют объем данных, которые обрабатываются, хранятся и используются.

Важен не объем собранных данных, а фактическая полезность данных. По мере того, как мы все дальше и дальше переходим к принятию решений на основе данных, как автоматически, так и помогая людям принимать эти решения, процессы требуют более качественные и чистые данные и уроки из прошлого (полезные идеи) для постоянного улучшения работы с данными — как историческими, так и новыми. данные. Изучение того, что произошло в прошлый раз, поможет нам принять более правильные решения в следующий раз, как и в реальной жизни (и станет основой машинного обучения и искусственного интеллекта).

Хранение данных на случай, если они нам когда-нибудь понадобятся, лишь способствует загрязнению процессов бесполезным шумом. Организации должны понимать, что такое данные Используемый представляет собой то, откуда он взялся, куда он направляется и как он используется, но, что более важно, какова ценностная ценность данных в том виде, в котором они используются и в том виде, в каком они хранятся.

Также: Превращение больших данных в бизнес-аналитику

Эти параметры затем дадут полный репозиторий агрегированных данных в реальном времени, который можно будет использовать. понимать ожидания клиентов, оптимизировать процессы, достигать результатов, генерировать идеи и более.

Но для этого вам понадобится хорошая платформа данных. И это следующий пост...

---

УВЕДОМЛЕНИЕ: Регистрация в CRM Watchlist 2019 и регистрация на Премия за индекс зрелости Emergence за 2019 год закрывается в сентябре. 30 без возможности расширения. Итак, если вы хотите убедиться, что являетесь их частью (подробности см. В ссылках в названиях), то у вас осталось примерно три недели. Я бы сделал это на твоем месте, хотя это не так. Вы, то есть.

Чтобы запросить регистрационную форму для любого из них, напишите мне по адресу почта: [email protected].

Предыдущее и связанное с ним освещение:

Прошлое, настоящее и будущее стриминга: Флинк, Спарк и их банда

Реактивным приложениям, работающим в режиме реального времени, требуются потоки данных в реальном времени, наполненные событиями. Это предпосылка, на которой появилось множество потоковых фреймворков. Последней вехой стало добавление возможностей ACID, поэтому давайте подведем итоги того, где мы находимся на этом пути вниз по течению или реке.

Arcadia Data переносит запросы на естественном языке в озеро данных

Arcadia Data предоставляет текстовое поле в стиле поисковой системы в качестве новейшего интерфейса запросов, перенося запросы BI на естественном языке в озеро данных.

Этот стартап считает, что знает, как ускорить анализ тонн данных в реальном времени

Осмысление огромных объемов данных, собираемых предприятиями, является проблемой для бизнеса, и, по словам Игуацио, она решена.