In die Cloud, Big-Data-Schwestern und -Brüder, in die Cloud

Gärtner sagt, die Big-Data-Party sei vorbei, und Tony Baer fragt sich, ob wir Data Science (und Engineering) überhaupt zum Laufen bringen können. Und Ergebnisse von a Umfrage, die kürzlich von Dimensional Research (DR) veröffentlicht und von Snowflake gesponsert wurde sind klar: Obwohl 100 % der Teilnehmer anerkennen, dass Dateninitiativen wichtig sind, hatte die überwiegende Mehrheit (88 %) „gescheiterte“ Projekte.

Die Befragten haben über einige Dinge berichtet, die ihnen helfen würden, mehr aus ihren aktuellen Datenumgebungen herauszuholen, einschließlich der Möglichkeit, dies zu tun Sie können schneller implementieren und bereitstellen, die Zeit für die Bereitstellung von Daten verkürzen, Toolsets vereinfachen oder den Verwaltungsaufwand reduzieren Infrastruktur. DR gibt an, dass Cloud Analytics das Potenzial hat, diese Vorteile zu bieten.

Doch die Erwartung, dass die Cloud-Infrastruktur allein Big-Data-Initiativen von ihren Problemen befreien kann, grenzt schon fast an Metaphysik und steht dem im Weg Tschechows Heldinnen erwarteten, nach Moskau zu fliehen, um sie zu befreien. Es geht um mehr, um Big Data richtig zu nutzen, und Jon Bock, Vice President of Products bei Snowflake, hat sich zu diesem Thema geäußert.

Daten an sich

Als Hauptursache für Probleme wird die „Inflexibilität“ der Dateninfrastruktur genannt, und laut Snowflake läuft das oft auf Verzögerungen hinaus, die durch Komplexität und Ressourcenbeschränkungen verursacht werden. Es braucht Zeit und viel Arbeit, um die richtige Kapazität bereitzustellen und zu nutzen, und jedes neue Projekt kann die bestehende Infrastruktur auf neue Weise belasten.

Ein zunehmender Anteil der Daten stammt heute von außerhalb des Unternehmensrechenzentrums, von Anwendungen, die Daten nativ in der Cloud verarbeiten. Daher ist es oft einfacher, diese Daten in der Cloud zusammenzuführen, als sie alle in das Rechenzentrum des Unternehmens zu übertragen. Datenverwaltungstools haben sich rasant weiterentwickelt, um Cloud- und Hybridumgebungen zu unterstützen und die Datenübertragung zu optimieren.

Cloud-Lösungen können Ressourcen innerhalb von Minuten bereitstellen, wodurch die Herausforderungen der Kapazitätsplanung gemildert werden, und das mit minimalem bis gar keinem Arbeitsaufwand Organisationen, da die Komplexität von der Cloud-Lösung und der Cloud-Infrastruktur bewältigt wird Anbieter. Die Übertragung von Daten in die Cloud ist eines der ersten Dinge, über die Unternehmen nachdenken, und das wird immer einfacher.

Cloud zur Rettung

Es ist also klar, dass die Datenaufnahme ein wichtiger Teil cloudbasierter Analysen ist, ebenso wie die Netzwerklatenz Hinzu kommen die inhärenten Rechen- und E/A-Kosten, die mit ETL und/oder Datenzuordnung verbunden sind Integration. Kürzlich IBM behauptete, bei der Datenerfassung der Schnellste zu sein, enthüllt aber nur sehr wenig, um dies zu untermauern. Ist das also ein „Alles ist möglich, meins ist besser als deins“-Spiel?

Architekturentwürfe, Standards und Benchmarks können Kunden dabei helfen, sich ein besseres Bild von der überbelegten Dateninfrastruktur zu machen Analyselandschaft und tragen zu fairen Vergleichen bei, daher könnte man sich fragen, warum nicht mehr Anbieter Benchmark-Ergebnisse veröffentlichen Beispiel.

Nach Ansicht von Snowflake liegt dies nicht wirklich daran, dass das Marketing Vorrang vor der Architektur hat, sondern vielmehr Dies liegt daran, dass die Benchmarks nicht in der Lage sind, mit der explosionsartigen Entwicklung der Anwendungsfallvielfalt und der Cloud Schritt zu halten Flexibilität. Herkömmliche Benchmarks gehen davon aus, dass sie auf einer festen Hardwarekonfiguration ausgeführt werden. In der Cloud können Ressourcen jedoch im laufenden Betrieb geändert werden. Benchmarks wurden nicht entwickelt, um dies zu erfassen.

Snowflake glaubt, dass die Skalierbarkeit der Cloud mehr Leistung zur Unterstützung der Datenaufnahme bieten kann, aber wichtiger ist die Abkehr von einer Datenarchitektur, die dies erfordert Die Übertragung einer Batch-Übertragung des gesamten Datensatzes auf wiederholter Basis, da der Entwurf für die kontinuierliche inkrementelle Datenaufnahme den Prozess erheblich vereinfacht.

Agilität ist alles

Snowflake hat von Grund auf ein Data Warehouse für die Cloud entworfen und aufgebaut, das auf AWS basiert geht davon aus, dass AWS die etablierteste Plattform und die größte installierte Basis bietet und weiter wächst schnell. Aber Organisationen, mit denen Snowflake spricht, nutzen oft bereits Cloud-Dienste von mehreren Anbietern.

In diesem Stadium der Cloud-Reife suchen die meisten Unternehmen nach Möglichkeiten, die Anbieterabhängigkeit in Bezug auf die Cloud zu verringern, sind jedoch noch nicht bereit, selbst eine Multi-Cloud-Umgebung zu verwalten. Das Streben nach Agilität geht also weiter, auch wenn das Ziel vielleicht noch nicht in Sicht ist. Und das gilt nicht nur für die Cloud-Infrastruktur.

Die Ergebnisse der DR-Umfrage scheinen zu bestätigen, dass die Cloud-Unterstützung eines der Hauptmerkmale von ist agile BI (zusammen mit erweiterter Visualisierung, domänenspezifischem Wissen, Datenquellenflexibilität und Vertriebskanalflexibilität) wird zur Norm. Snowflake glaubt, dass agile BI ein Ansatz ist, der an Interesse gewonnen hat, weil Unternehmen nach Möglichkeiten suchen, ihre Datenanalysen flexibler und flexibler zu gestalten.

Die größte Herausforderung besteht darin, die Kultur zu entwickeln, die für den Erfolg erforderlich ist. Unternehmen stellen häufig fest, dass ihr methodischer Wasserfallansatz bei der Entwicklung von Berichten und Analysen so tief verwurzelt ist, dass agile BI auf Widerstand und Misstrauen stößt. Dieser Widerstand führt zu einem Mangel an Zustimmung, der den Erfolg oft unmöglich macht.

Organisatorischer Wandel und digitale Transformation müssen in einem interaktiven Prozess Hand in Hand gehen. Big Data und die Cloud sind möglicherweise großartige Voraussetzungen für flexible Ansätze und messbare Wertschöpfung, aber ohne eine entsprechende Unternehmenskultur und -struktur werden sie scheitern.