AtScale, Databricks ve diğerleri gelişmiş COVID-19 veri kaynaklarını yayınlıyor

Birkaç hafta önce Tableau'nun günlük olarak güncellenen bir veri kümesi yayınını basitleştirilmiş bir sunumla ele almıştım. Johns Hopkins Sistem Bilimi ve Mühendisliği Merkezi(JHU'nun) küresel COVID-19 veri kümesi. Bu, insanların bağlantı kurabilmesi ve self servis temelinde analiz edebilmesi için verileri demokratikleştirmede önemli bir adımdı. Ben de böyle bir insandım ve yazıda paylaştığım birkaç basit analiz yaptım.

Ayrıca şunu okuyun: Tableau, Johns Hopkins'in koronavirüs verilerini geri kalanımızın kullanımına sunuyor

Bu arada insanlar daha fazlasına aç. Veri meraklıları ve salgın uzmanları, onaylanmış vakalar ve ölümlerin ötesindeki ölçümlerin yanı sıra, COVID-19'un kapsamı dışındaki demografik verilere de erişmek istiyor. Ortalıkta çok fazla kamuya açık veri var, ancak bunların izini sürmek, temizlemek, harmanlamak ve modellemek önemsiz değil. Artık veri alanındaki çeşitli şirketler, sorunlu noktaları ele almak ve bu daha geniş veri yelpazesiyle çalışmayı kolaylaştırmak için çalışıyor.

KOVİD için OLAP

İle başlayalım ÖlçekteSan Mateo ve Boston merkezli şirket, buluttaki büyük veriler üzerinden OLAP'a odaklandı. Şirket bugün, ayrıntılı analize hazır olan COVID-19 Bulut OLAP Modelini duyuruyor. AtScale, modeli kendi platformunda barındırıyor ve ücretsiz olarak sorgulamaya açık hale getiriyor. Veri kümeleri şunları içerir: Starschema: COVID-19 Epidemiyolojik VerileriSnowflake'in Veri Değişimi aracılığıyla edinilebilen veriler ve Boston Çocuk Hastanesi'nin verileri COVIDNearYou.org. AtScale, modellerinin ve kaynak veri kümelerinin günlük olarak güncellendiğini söylüyor.

AtScale modeline erişim kazanmak için ilgili taraflar erişim talep edebilir Burada. AtScale, oturum açma bilgilerini ve bağlantı talimatlarını sağlayan bir e-postayla yanıt verecektir. Bu e-postanın ekinde, modele dayalı olarak tamamen geliştirilmiş Excel ve Tableau çalışma kitapları bulunmaktadır (Excel modeli yukarıda resmedilmiştir). Kullanıcılar bu çalışma kitaplarını açabilir, benzersiz kullanıcı kimliklerini ve parolalarını girebilir, ardından dilimlemeye, parçalara ayırmaya ve analiz etmeye başlayabilir.

Databricks kolay veri erişimi sağlıyor, hackathon'u başlatıyor

Bu sırada, Veri tuğlaları, kimin Kıvılcımtabanlı platform, veri mühendisleri ve veri bilimcileri için bir çalışma tezgahı görevi görüyor ve COVID-19 veri ortamına da değer katıyor. Başlangıç ​​olarak Databricks, platformunda (hem Amazon Web Hizmetlerinde hem de Microsoft Azure bulutlarında) yerel olarak mevcut olacak çeşitli COVID-19 veri kümelerini ekledi. Özellikle geliştiriciler, ücretli hizmette veya ücretsiz olarak Databricks dosya sisteminde (DBFS) yerleşik "/databricks-datasets/COVID/" klasöründeki verileri bulabilirler. Topluluk Sürümü. Başka bir deyişle, herhangi bir Databricks kümesini çalıştırdığınızda, COVID-19 verileri otomatik olarak dosya sisteminde olacaktır. Şirket ayrıca verilerin nasıl açılacağını ve analiz edileceğini gösteren örnek çalışma kitapları da oluşturdu; veri kümeleriyle ilgili ayrıntılar ve not defterlerine bağlantılar bir Blog yazısı Databricks tarafından Denny Lee.

Veri kullanılabilirliğine ek olarak ve Databricks'in yakında çıkacak olanlarıyla koordineli olarak Spark + Yapay Zeka Zirvesi Databricks, sanal etkinlikte "Veri Ekipleri Birleşin!" başlığı altında ilgili bir hackathon başlatıyor. Hackathon'a katılan takımlardan şunlara odaklanmaları istenecek: COVID-19, iklim değişikliği veya kendi topluluklarındaki zorluklar (ulusal, bölgesel, eyalet ve yerel kuruluşların sunduğu açık veri kaynaklarını kullanarak) hükümetler). Databricks'in etkinliği bu yıl sanal ve ücretsiz olduğundan, şirket katılımda önemli bir artış bekliyor ve güçlü bir hackathon katılımı görmeyi umuyor. Hackathon'a en fazla 4 kişiden oluşan takımlar katılabilir. Üç finalist takım seçilecek ve Databricks, takımların tercih ettiği hayır kurumlarına doğrudan bağışta bulunacak; Büyük ödülün sahibi ayrıca ücretsiz eğitim ve gelecekteki Spark + AI etkinliğine bir bilet de alacak. Hackathon bugün başlıyor ve katılımlar 12 Haziran'da sona erecek. Duruşma 15-19 Haziran tarihleri ​​arasında yapılacak.

Bakıcı ve diğerleri

Pek çok başka şirketin de kendilerine ait teklifleri var. Mesela daha dün, Bakıcı, artık Google Cloud'un bir parçası, duyuruldu dün onun COVID-19 Veri BloğuLookML modelleri, çalışmaya hazır kontrol panelleri ve Looker "keşfetmeleri" (verilerin özel olarak dilimlenmesine ve parçalara ayrılmasına olanak tanıyan) dahil. Looker teklifi, ana kuruluşunun ücretsiz olarak kullanıma sunduğu COVID-19 verilerini kullanır. Büyük Sorgu servis (detaylar Burada) ve aynı zamanda ücretsiz olan, barındırılan bir Looker örneğinde sunulur. Modellerdeki veriler JHU'dan alınmıştır, New York Times, COVİD Takip Projesi, Kesin Sağlık Hizmeti, Kaiser Aile Vakfı, Ve İtalya Dipartimento della Protezione Civile.

Ve dahası da var. Yıldız şeması Ve kar tanesi COVID-19 ile ilgili verilerle önceden yüklenmiş bir veri paylaşımı sunmak için ekip oluşturduk (bu, AtScale'in modelinde kullandığı veri kaynaklarından biridir). Paylaşım, mevcut Snowflake müşterilerine veya deneme hesabına sahip olanlara açıktır; erişim talep etmek Burada. Sarı tuğla COVID-19 aşısı üzerinde aktif olarak çalışan araştırmacılara ve şirketlere yardımcı olmak için veri ambarı hizmetine ücretsiz erişim sağlıyor (detaylar) Burada). MariaDB COVİD-19 ile mücadele eden sağlık, tıp ve akademik kar amacı gütmeyen kuruluşlara ücretsiz erişim sunuyor MariaDB SkySQL. Konum zekası odaklı HERE Teknolojileri teklif ediyor Coronavirüs COVID-19 sitesini takip etme. Yeterli değil? Daha da fazla kaynak şu adreste bulunabilir: data.world'ün Coronavirüs (COVID-19) Veri Kaynağı Merkezi.

CSV dosyalarının çok ötesine geçen birçok kaynak var. Krize odaklanan uzmanların pek çok seçeneği var; bu onların içgörülere ve umarım sağlam politikalara ve etkili protokollere daha hızlı ulaşmalarına yardımcı olacaktır. Uzman değilseniz ve karantina nedeniyle kendinizi evde buluyorsanız, odaklanacak bir projeye ihtiyaç duyuyorsanız belki siz de bu harika COVID-19 veri kaynaklarından yararlanabilirsiniz.

Databricks hackathon son tarihini ve sırasıyla 29 Mayıs ve 1-5 Haziran arasındaki değerlendirme dönemini sırasıyla 12 Haziran ve 15-19 Haziran olarak revize etmek için 22 Nisan 12:40 ET'de güncellendi.