Великі дані: чому довіряти – науці про дані чи шостому чуттю боса?

Навіть якщо компанії мають навички розробників, щоб використовувати великі дані — а більшість цього не має — вони незмінно вважають за краще приймати рішення, використовуючи неперевірену думку, а не науку про дані.

І там, де фірми використовують дані, їх багато вибираючи його вибірково для резервного копіювання поточних переглядів, що, за словами Гая Катберта, керуючого директора фірми візуальної аналітики Atheon Analytics, є просто прийняттям рішень на основі думки в іншій формі.

Наука про дані передбачає створення та перевірку гіпотез, підхід, якого уникає більшість компаній зіткнень у секторі роздрібної торгівлі, сказав Катберт на нещодавньому круглому столі Actian, присвяченому великим даним, у м Лондон.

«Я міг би намотати жахливий список історій роздрібних торговців, які вірять, що клієнти поводяться певним чином, тому що це те, що їм сказали, коли вони приєдналися до бізнесу», — сказав він.

«Вони ніколи насправді не сумнівалися, чи це те, що відбувається в цій категорії, чи в тій конкретній частині країни, чи з таким розміром сукні. Є сотні прикладів, коли люди робили те, що їм сказали, замість того, щоб заново думати про те, що ще відбувається.

«Багато частин нашої роботи ми намагаємося перевести організації зі світу, що керується думкою, у світ, що керується даними, і почати використовувати факти, гіпотези — науку — як метод».

З компаній, яким Катберт намагався допомогти зрозуміти ефективність їхніх продуктів, дуже небагато можна назвати аналітичними. За його підрахунками, ймовірно, лише один відсоток чи навіть 0,1 відсотка найбільших компаній у світі справді керуються даними.

«Я бачу величезну кількість компаній, що керуються громадською думкою, які не розуміють, чому рішення можуть прийматися на основі даних. Я слухав, як керівники висловлювали всілякі думки, за якими не було жодної основи чи змісту», — сказав Катберт.

«Тож якщо аніматори даних і дослідники даних можуть щось зробити, це спробувати навчити решту наших однолітків компанії, що в їхній організації є захоплююча кількість фактів, якщо вони просто вирішать подивитися на них».

Однак змусити компанії розвінчати корпоративні міфи та прийняти фактичні висновки, засновані на даних, нелегко.

«У нас є справді ворожі презентації, де ми показуємо людям те, що вони категорично заперечуватимуть і скажуть нам, що ми абсолютно неправі», — сказав Катберт.

Інша проблема полягає в тому, що компанії приймають занадто вузький фокус, навіть якщо вони намагаються використовувати дані науково.

«Більшість компаній, з якими ми працюємо, орієнтуються на відомих людей. Вони дивляться: «Ми очікуємо збільшення доходів на шість відсотків у наступному році, давайте переконаємося, що ми досягнемо шести відсотків», — сказав Катберт.

«Вони не шукають можливості 30 або 120 відсотків. Велика частина нашої роботи полягає в тому, щоб висвітлювати такі речі та показувати закономірності, яких вони просто не знають».

На жаль, незважаючи на досягнення, які спрощують обробку мільярдів рядків даних, аналіз все ще є сферою, де людські навички залишаються важливими.

«Прогалина між машинним навчанням і всіма іншими комп’ютерними науками на даний момент полягає в тому, що поки що немає машинного натхнення», — сказав Катберт.

«Натхнення приходить від того, що люди розуміють, як інтерпретувати сигнали в даних».

Стів Шайн, генеральний директор компанії з аналізу великих даних Actian, колишньої Ingres, сказав, що до відносно недавнього часу Навички розвитку, необхідні для великих даних, зробили такі проекти прерогативою певної групи клієнтів з великими обсягами даних бюджети.

«Якщо ви були десь близько до проекту Hadoop протягом останніх трьох-чотирьох років, ви зрозумієте, що це досить розріджений набір навичок, які можуть написати ефективну програму MapReduce, щоб отримати щось ефективне з Hadoop", Шайн сказав.

«Довгий час його пристрасно оберігала громада. Це радикально змінилося за останні 12 місяців. Існує загальне визнання того, що використання цих нових технологій має стати набагато простішим.

«Ми повернули людей у ​​1980-ті роки з точки зору того, наскільки продуктивно ви були в змозі генерувати код, щоб отримати всі ці дані та відкривати ідеї».

Проблемою зараз є поширення технологій великих даних із різними версіями Hadoop, NoSQL і новими способами підготовки та інтеграції даних.

«Жоден ІТ-директор не отримує винагороду за те, що з’єднує все це разом. Бізнесу байдуже, наскільки добре ви все це склеїли чи як швидко. Там написано: «Як швидко ви можете допомогти мені отримати дані про відтік клієнтів», — сказав він.

Однак тепер ця технологія дозволяє компаніям виявляти несподіваний комерційний потенціал у даних, які вона регулярно створює.

Шайн навів посилання на клієнта, який працює в сфері пільг і нарахування заробітної плати, який зрозумів, що дані, які він обробляє щодо зарплати, змінюються та тих, хто залишив і приєднався – це інформація, яка, ймовірно, дає більш точне уявлення про макроекономіку, ніж їхній власний уряд володіє.

«Існують організації, які традиційно виглядають так, ніби вони мають один бізнес, але розуміють, що якщо вони орієнтовані на дані й можуть приймати ці дані — можливо, поєднуючи їх з іншими наявними даними, вони можуть надати інформацію, яка є фундаментально більш цінною, ніж те, що вони мають сьогодні», – він сказав.

Більше про великі дані

• Дефіцит навичок мейнфреймів спостерігається, але компанії все ще заперечують це
• Як угоди Google і Accenture щодо DataStax вказують на зростання Cassandra
• Великий день новин для великих даних: розпочинається конференція Strata
• Red Hat і Hortonworks оприлюднили спільну роботу з використанням великих даних Hadoop
• Які навички дійсно потрібні компаніям у їхній команді великих даних?