Skalaen betyder noget. Massive data - især streaming af data - kræver sit eget økosystem. Det er ikke kun små data, der gøres større.
I vores ZDNet stor debat, diskuterede Andrew Brust og jeg behovet for dataforskere. Ingen af os var fortrolige med udtrykket, men der er ingen tvivl om, at i dag kræver analyse af big data et unikt sæt færdigheder.
Det store problem er, at big data er et par størrelsesordener større skala end noget, vi har beskæftiget os med før. Læg dertil, at vi har at gøre med streaming data - data, der kommer i realtid - som vi har til hensigt at handle på. Dette er ikke din fars data mining-applikation.
Big data ser ofte på, hvad der er trending. Uanset om det er influenza eller det seneste om Taylor Swift, fortæller streamingdata os, hvor vi skal hen, ikke hvor vi har været.
Det er det forudsigelige aspekt af big data, der kræver faktisk videnskab - fremstilling og test af hypoteser - så vi kan forstå, hvilke tendenser der er meningsfulde, og hvilke der er falske. Hvis den nød kan knækkes, vil dataforskere have fortjent deres titler og deres løn.
Se debatten for mere fra både Andrew og jeg.
Opbevaringsbittene tager
Skalering bryder altid noget. Måske ikke lige med det samme, men skala er konsekvent et af de hårdeste problemer inden for datalogi, såvel som livet.
Fremkomsten af massiv lagring – drevet af det store internetindhold – har taget vores evne til at gemme og manipulere data ud over vores nuværende evne til at analysere dem med henblik på handling Information. Vi har meget at lære og meget at vinde, hvis vi kan mestre den information, som vores teknologi nu giver os mulighed for at indsamle.
Kommentarer er selvfølgelig velkomne. Mit gæt er, at big data handler om, hvor computere var i 1960. Enig?