Čudna znanost: Kako klimava izvješća o korištenju weba iskrivljuju naš pogled na tehnološka tržišta

Mjesečna izvješća o korištenju preglednika i OS-a dviju tvrtki za web analitiku zaživjela su vlastitim životom.

Lako je stvoriti priče o konjskim utrkama iz ovih pada podataka prvog u mjesecu. Ali u nedavnim ciklusima vijesti ovi su brojevi tretirani kao evanđelje, a ne vrlo varijabilni i povremeno nedosljedni podaci.

Ovomjesečna izvješća Net Applications (NetMarketShare) i StatCounter ilustrirajte koliko čudna slika može biti ako podatke uzmete zdravo za gotovo. (Ako niste upoznati s načinom rada ova dva proizvoda, evo objašnjenja koje sam napisao ranije ove godine: “Neto tržišni udio vs. StatCounter: Čijim online mjerenjima možete vjerovati?”)

Moj kolega Jack Schofield pročitao je najnovije NetMarketShare brojeve iz Net Applications (.com) i primijetio ove čudne skokove u najnovijim podacima:

Objavio je ovo skeptično izvješće tijekom vikenda:

Tržišni udio Windowsa XP pao je na samo 17,2 posto - pad od 6,7 postotnih bodova - prema posljednjim podacima Netmarketsharea, koje je u subotu objavio Net Applications.

U isto vrijeme, kombinirani tržišni udio Windowsa 8 i Windowsa 8.1 popeo se na 16,8 posto, što je samo 0,4 postotna boda iza časnog XP-a.

Možda će rezultati sljedećeg mjeseca pokazati da XP zapravo nije tako brzo pao, a brojke u listopadu su statistička greška.

Kako se ispostavilo, ovo je bilo nešto više od "statističkog promašaja".

Nakon što su se pojavili ti početni brojevi, Net Applications je brzo objavio obavijest na svojoj stranici da pregledava podatke. Ažuriranje objasnio je iznenadni i dramatičan zaokret:

NetMarketShare je nedavno pokazao veliki pad udjela Windows XP od rujna do listopada. Ovaj pad prvenstveno je uzrokovan velikom promjenom u mreži stranica koje imamo u Kini. Grupa velikih kineskih izdavača s vrlo velikim brojem posjetitelja po danu imala je publiku koja je bila jako naklonjena Windows XP-u (gotovo 100% XP). Istražujući prirodu stranica, utvrdili smo da nisu prikladne za našu mrežu. Sami smo uklonili te izdavače, što je uzrokovalo promjenu budući da je kineski promet ponderiran više zbog manje pokrivenosti. Zbog toga je trenutni skup podataka točniji nego u prošlosti.

To objašnjenje, iako savršeno logično, također ilustrira zašto ove statistike moraju biti ispisane podebljanim slovima i odricanjem od odgovornosti. Iz mjeseca u mjesec, nema jamstva da su uzorci podataka razumno reprezentativni za cijeli internet. Zapravo, dovoljno velika skupina nereprezentativnih stranica koje su dio analitičke mreže može iskriviti rezultate.

Upravo se to događa na NetMarketShareu, koji je također zagonetno primijetio da planira započeti objavljivanje podataka koji će pokazati ono što nazivaju "lažnim prometom" od botova, alatnih traka i drugih automatiziranih metode.

Očigledno XP nije bio da ipak popularan. Nikada nećemo saznati, jer Net Applications kaže da ne može retroaktivno prilagoditi prethodna izvješća.

U zasebnom incidentu primijetio sam čudan nalaz u podacima za ovaj mjesec iz StatCounter-a. Evo rezultata za korištenje stolnog preglednika iz Sjedinjenih Država, koji pokriva 13 mjeseci koji završavaju 31. listopada 2014.:

Prethodno sam bio skeptičan glede izvlačenja zaključaka iz ovih izvješća, s obzirom na njihove široke oscilacije koje nisu povezane s vanjskim događajima. Ovaj je stvarno prava glava.

Svi mi možemo konstruirati vlastite narative za bitku između Internet Explorera i Chromea i možemo dovoljno lako objasniti relativne pozicije Safarija i Firefoxa.

Ali kakvo je moguće objašnjenje za 360 Siguran preglednik, koji je razvio kineski web div Qihoo, biti stalno na 5. mjestu na toj listi? Prema StatCounteru, ovaj preglednik je bio odgovoran za prosječno 2,68 posto ukupnog web prometa iz Sjedinjenih Država u osam mjeseci počevši od ožujka 2014. godine.

To mi nije zvučalo dobro, pa sam zatražio objašnjenje od StatCounter-a. Evo što su odgovorili:

Potpuno razumijemo Edovu intuitivnu reakciju - prisutnost 360 Safe preglednika u SAD-u izgleda neobično. Bili smo slično skeptični 2012. kada smo prvi put primijetili da se preglednik pojavljuje u američkim statistikama. Unatoč našim tadašnjim istragama (i ponovno sada kao odgovor na Edovu e-poruku), nismo otkrili ništa nepovoljno u u odnosu na prisutnost ovog preglednika u SAD-u - IP adrese sa sjedištem u SAD-u koriste ovaj preglednik stoga njegova prisutnost u statistika.

Prema StatCounteru, taj je rast bio "vrlo postupan i čini se 'normalnim'". Prvi put su zabilježili pojavu 360 Safe preglednika 2013., što se poklopilo s lansiranjem međunarodne verzije preglednika kao i početna stranica na engleskom jeziku.

Qihoo 360 Technology, koja je javna tvrtka kojima se trguje na burzi u New Yorku (QIHU), tvrdi da ima stotine milijuna korisnika diljem svijeta. Glasnogovornik StatCountera napominje da je tvrtka 2013. godine otvorila ured u SAD-u, ove godine dodala podružnicu za venture financiranje u Silicijskoj dolini te da ima tim za razvoj poslovanja za Sjevernu Ameriku.

A možda je njihov uspjeh rezultat toga što se njihovi kupci vjerojatno neće javno identificirati:

Velik dio prometa US 360 posjećuje stranice za "odrasle". Ova kohorta web korisnika mogla bi imati značajnih problema s privatnošću. Smatramo da možda 360 postaje popularan izbor za te korisnike jer tvrdi da nudi vrlo sigurnu pregledavanje koje filtrira pokušaje krađe identiteta i zlonamjerne URL-ove i za koje dodatne besplatne sigurnosne usluge dostupno.

Tehnološki novinari usmjereni na SAD vole pisati o bogatstvu američkih tvrtki koje pokušavaju ući na kinesko tržište. Ako su podaci StatCountera točni, onda možda Lenovo nije jedina kineska tvrtka koja se probija u Sjevernoj Americi.