Cloudera i Mount Sinai: struktura revolucije velikih podataka?

  • Oct 21, 2023

Mogu li disruptivni molekularni biolog i vodeća tvrtka u Hadoop ekosustavu učiniti da medicinska istraživanja promijene svoje metodologije na bolje?

Čak i ako je većina dosadašnjih aplikacija Big Data bila u području poslovanja, primjena tehnologije u znanosti mami. Da, Hadoop i druge Big Data tehnologije bile su revolucionarne u sferi računalnih znanosti; ali ih primjenjujući na područje prirodni znanost ima potencijal promijeniti živote.

Također ima potencijal da ih spasi. Čini se gotovo očiglednim da bi kombinacija Big Data i medicinskog istraživanja mogla imati dubok utjecaj na opće dobro. To je uzbudljivo, ali tvrtke i institucije moraju poduzeti konkretne korake; inače ćemo biti hipnotizirani potencijalom Big Data i zapravo nećemo ništa učiniti.

Velike istraživačke rock zvijezde?
Unesi Cloudera i Medicinska škola Mount Sinai. Dana 3. srpnja dvije organizacije najavio da će se udružiti u rješavanju medicinskih izazova s ​​velikim podacima. Cloudera je bez sumnje dijete plakata Hadoop ekosustava. Kao rođeni Njujorčanin, mogu potvrditi besprijekornu reputaciju Medicinskog centra Mount Sinai i njegovog Medicinskog fakulteta. Spojite to dvoje i dobit ćete uvjete za tim iz snova. Ali to nadilazi status organizacija, jer svaka strana u ovoj suradnji nedvojbeno stavlja svoje najbolje ljude.

U telefonskom intervjuu, glavni izvršni direktor Cloudere Mike Olson objasnio mi je. Objasnio je da će glavni znanstvenik i suosnivač Cloudere, Jeff Hammerbacher, voditi napore Cloudere. Olson je objasnio da Hammerbacher vodi Clouderin tim za podatkovnu znanost i da ima snažnu strast za istraživanjem načina da se Hadoop i njegova hrpa tehnologija mogu primijeniti na akademska istraživanja u pragmatičnim, rezultatima usmjerenim načine. Hammerbacher je trenutno na medenom mjesecu, ali će po povratku punih 25% svog vremena provoditi na projektu Sinai. To je poprilično ulaganje s obzirom na to da je Hammerbacher glavni znanstvenik onoga što je možda glavna tvrtka Big Data.

Sinajski najbolji Schadt
U međuvremenu, strana planine Sinaj nosit će svoju težinu, a zatim i više. Na čelu tima će po Dr. Eric Schadt, koji vodi Sinajski institut za genomiku i multiscale biologiju. Neovisno o ovom udruživanju s Clouderom, Schadt je bio gorljivi zagovornik primjene tehnologije u području genomskih istraživanja. Schadt je prilično karizmatičan lik, budući da je bio predmet a profil Toma Junoda u časopisu Esquire prošle godine. Schadt je u svojoj biografiji Mount Sinai opisan kao "vizionar u korištenju računalne biologije u genomici".

U svom profilu na Esquireu, Junod opisuje Schadtove disidentske poglede na utemeljena molekularno-biološka istraživanja. Schadt smatra da biološke sustave treba modelirati s većom složenošću i da je današnji proboj tehnologije, uključujući Big Data, u kombinaciji s genomskim podacima iz posljednjeg desetljeća, trebale bi se primijeniti kako bi se napravila to izvedivo.

Izvanredna znanost
Schadt vjeruje da je molekularno istraživanje u krizi i da prolazi kroz promjenu paradigme. Ovo su pojmovi i pojmovi koje je uvela knjiga Thomasa Kuhna Struktura znanstvenih revolucija, objavljen 1962. godine. 50 godina kasnije, Schadt, koji je pod velikim utjecajem Kuhna, nepokolebljiv je da se istraživanja u razumijevanju i liječenju bolesti moraju radikalno promijeniti kako bi se postigao smisleni napredak. Schadt je diplomirao čistu matematiku, informatiku i primijenjenu matematiku, a doktorirao je biomatematicu. Ali Schadt je također radio u velikim farmaceutskim tvrtkama Roche i Merck. Kao takav, Schadt ima pogled na molekularnu biologiju koji ima industrijsku kao i akademsku strogost.

Kad se sve ovo skupi, čini se da postoji stvarna šansa da iz ovog rada proizađe važno otkriće. A budući da je Cloudera uključen, nalazi neće biti prebačeni u medicinske časopise. Izvršni direktor Cloudere rekao mi je da tvrtka namjerava biti vrlo transparentna u vezi s radom. Savjetovao mi je da pazim na Cloudera blog za izvješća o tome. Nadam se da će takvi postovi biti dostupni nemedicinskim stručnjacima, uključujući čitatelje ZDNeta, a da ne spominjem sebe.

Povratak na posao
Kada govorimo o nemedicinskoj sferi, kakva će biti korist od ovog rada za primjenu Big Data tehnologije u poslovanju? Olson je rekao da Cloudera misli da će suradnja sa Sinaijem dovesti do jačanja Hadoop platforme, uključujući CDH, Clouderinu Hadoop distribuciju otvorenog koda. Niste korisnik CDH-a? To je u redu, jer će se sve promjene koje se tamo naprave također prijaviti u temeljnu Apache distribuciju.

Kao takva, potencijalna korist Cloudera-Sinai napora za Hadoop je značajna. A možda će doprinos medicinskoj znanosti i liječenju bolesti biti dubok.