Pivotal เปิดตัว Hadoop Open Data Platform เพิ่มลิงก์ Hortonworks และโค้ดโอเพ่นซอร์สให้ลึกซึ้งยิ่งขึ้น

จากความสำเร็จที่ชัดเจนของโปรเจ็กต์ Cloud Foundry PaaS ทำให้ EMC และ VMware เป็นบริษัทที่แยกตัวจาก Pivotal ในปัจจุบัน เปิดตัวผู้สนับสนุนโครงการริเริ่มใหม่ที่มุ่งเป้าไปที่การกำหนดชุดหลักของเทคโนโลยี Apache เพื่อเร่งการนำเทคโนโลยีดังกล่าวไปใช้ ฮาดูป.

ที่ เปิดแพลตฟอร์มข้อมูล สมาชิกผู้ก่อตั้ง - GE, Hortonworks, IBM, Infosys, การพิจาณา, SAS และ AltiScale, Capgemini, CenturyLink, EMC, Teradata, Splunk, Verizon และ VMware - จะทดสอบและ รับรองส่วนประกอบ Apache หลักจำนวนหนึ่ง ซึ่งต่อมาจะเป็นพื้นฐานของแพลตฟอร์ม Hadoop

“นี่เป็นประกาศที่สำคัญอย่างยิ่งสำหรับเรา มันเทียบเท่ากับขั้นตอนของ Cloud Foundry Foundation สำหรับแพลตฟอร์มในฐานะบริการ” Michael Cucchi ผู้อำนวยการอาวุโสฝ่ายผลิตภัณฑ์ขาออกของ Pivotal กล่าว “นี่เป็นเหตุการณ์ที่มีความสามารถเช่นเดียวกันสำหรับข้อมูลขนาดใหญ่และการวิเคราะห์ข้อมูลขนาดใหญ่ และเห็นได้ชัดว่าเป็นการเร่งความเร็ว Hadoop อย่างรวดเร็วโดยเฉพาะ”

ในเดือนมกราคม Pivotal กล่าวว่ามียอดขาย Cloud Foundry มูลค่า 40 ล้านเหรียญในช่วงสามไตรมาสสุดท้ายของปี 2014 โอเพ่นซอร์ส Cloud Foundry Foundation ซึ่งเปิดตัวเมื่อปีที่แล้ว โดยมีองค์กรที่เข้าร่วม 7 องค์กร ปัจจุบันมีสมาชิกมากกว่า 45 ราย ในสัปดาห์นี้ บริษัทกล่าวว่าสามารถจองซอฟต์แวร์ข้อมูลขนาดใหญ่ได้ 100 ล้านเหรียญในปี 2014

Shaun Connolly รองประธานฝ่ายกลยุทธ์องค์กรของ Hortonworks ซึ่งเป็นสมาชิกระดับแพลตตินัมของ Open Data Platform กล่าวว่าบริษัทของเขาได้ก่อตั้ง ความคิดริเริ่มร่วมกับ Pivotal เพื่อมอบแพลตฟอร์มที่ชัดเจนสำหรับระบบนิเวศ Hadoop และช่วยลดการกระจายตัวและความซ้ำซ้อน ของความพยายาม

“มันเป็นเสียงเรียกร้องที่แข็งแกร่งสำหรับตลาดที่มีแกนกลางทั่วไปที่อุตสาหกรรมสามารถไว้วางใจได้ มีส่วนร่วมเพียงพอในมุมมองต่างๆ เพื่อให้แน่ใจว่าจะสะท้อนถึงความต้องการของไม่เพียงแต่วาระของผู้ขายเท่านั้น แต่ยังรวมถึงผู้ใช้อีกด้วย” คอนนอลลี่กล่าว

“มันมีความสอดคล้องเป็นอย่างดีกับกระบวนการของ Apache Software Foundation เพราะเราจะขยายการสนับสนุนผ่านโครงการ Apache เหล่านั้น นวัตกรรมในโครงการเหล่านั้นจะเร่งตัวขึ้นเนื่องจากการมีส่วนร่วมจากชุมชนในวงกว้าง ซึ่งตรงไปตรงมาจะขับเคลื่อนขีดความสามารถขององค์กรในแพลตฟอร์มหลักที่ผู้คนสามารถใช้ประโยชน์ได้มากขึ้น ของ."

Connolly อธิบายกระบวนการรวบรวมผู้ใช้ ผู้ขาย และบุคคลในชุมชนเพื่อทำงานร่วมกันตามเป้าหมายที่ใช้ร่วมกันว่าเป็น "ความท้าทาย"

“แต่หากคุณดูประวัติของเราในโครงการ Stinger และ Data Governance Initiative เราก็มีเวลามากกว่าสองสามปีในการแสดงให้เห็นว่าเราสามารถเชื่อมโยงโลกเหล่านั้นเข้าด้วยกันได้” เขากล่าว

"บางคนอาจมองว่า Pivotal และ IBM และคนอื่นๆ เป็นคู่แข่งกัน เราต้องละทิ้งความแตกต่างเหล่านั้นและมุ่งเน้นไปที่สิ่งที่เราสามารถทำได้ร่วมกัน นั่นคือสิ่งที่ความคิดริเริ่มนี้เกี่ยวกับ มันมาจากการทำงานร่วมกันและสร้างความไว้วางใจ และเราคุ้นเคยกับสิ่งนั้นแล้ว มันเป็นเรื่องของโอเพ่นซอร์สจริงๆ”

คอนนอลลี่กล่าวว่าความคิดริเริ่มนี้ได้รับการออกแบบมาเพื่อลดความซับซ้อนและความสับสนในด้าน Hadoop ซึ่งอาจทำหน้าที่เป็นอุปสรรคต่อการนำไปใช้

"หากคุณดูที่อุตสาหกรรม Hadoop ก็จะมีส่วนประกอบของชื่อที่ใช้ร่วมกัน มีส่วนประกอบต่างๆ มากมายหลายเวอร์ชันที่มีความสามารถที่แตกต่างกัน โปรโตคอลที่แตกต่างกัน และความไม่เข้ากันของ API ความพยายามนี้มุ่งเป้าไปที่เวอร์ชันที่มีเสถียรภาพ ดังนั้นจึงไม่ต้องคาดเดาจากระบบนิเวศในวงกว้าง" เขากล่าว

“ในชุมชนมีการเผยแพร่จำนวนมาก - เผยแพร่ก่อนกำหนดและเผยแพร่บ่อยครั้งเนื่องจากลักษณะของนวัตกรรม ที่เกิดขึ้นกับโมเดลโอเพ่นซอร์ส ซึ่งทำให้สับสนมากในการพิจารณาว่าเวอร์ชันใดที่จะสร้างมาตรฐาน บน."

Pivotal ซึ่งแยกตัวออกมาจาก EMC และ VMware ในปี 2556 กล่าวว่า Open Data Platform จะทำงานโดยตรงกับ โครงการ Apache เฉพาะเจาะจง โดยปฏิบัติตามแนวทางของมูลนิธิซอฟต์แวร์ Apache ในการสนับสนุนแนวคิด และรหัส เป้าหมายคือเพื่อเพิ่มความเข้ากันได้และทำให้แอปและเครื่องมือทำงานบนระบบที่เป็นไปตามข้อกำหนดได้ง่ายขึ้น

แกนอ้างอิงของส่วนประกอบ Hadoop จะรวมถึงเลเยอร์การจัดการทรัพยากร YARN และเครื่องมือตรวจสอบและจัดเตรียม Ambari

Connolly กล่าวว่า Open Data Platform จะเปิดให้บริษัทอื่นๆ ที่ต้องการเข้าร่วม

“เราไม่ได้มองหาที่จะแยกผู้เล่นคนใดออก จริงๆ แล้วเรากำลังพยายามให้แน่ใจว่าเราจะรวมผู้เล่นเหล่านั้นให้ได้มากที่สุด ขึ้นอยู่กับว่าพวกเขาต้องการมีส่วนร่วมอย่างไร” เขากล่าว

“สิ่งที่น่าสนใจกว่าสำหรับตลาดในวงกว้างก็คือการที่คุณทำให้โซลูชันที่สร้างบน Hadoop รวมถึงเทคโนโลยีข้อมูลขนาดใหญ่อื่นๆ นำไปใช้งานได้เร็วขึ้นได้ง่ายขึ้นได้อย่างไร ดังนั้นยิ่งตลาดเติบโตได้เร็วเท่าไหร่ ธุรกิจของเราก็จะยิ่งดีขึ้นเท่านั้น"

ความสัมพันธ์ที่ลึกซึ้งยิ่งขึ้นเกิดขึ้น เมื่อเดือนกรกฎาคมปีที่แล้วด้วยการร่วมมือกับ Ambariขณะนี้ Pivotal และ Hortonworks จะใช้แนวทางที่เป็นเอกภาพใน "พันธมิตรเชิงกลยุทธ์และเชิงพาณิชย์"

นอกจากการแบ่งปันชุดส่วนประกอบพื้นฐานของ Hadoop และกิจกรรมสนับสนุนบางอย่างแล้ว ทั้งสองบริษัทจะประสานงานด้านวิศวกรรม Hadoop ซึ่งรวมถึงบริการที่มุ่งเน้นไปที่บริการสำคัญ เช่น Hadoop SQL front end HAWQ ซึ่ง Hortonworks จะนำเสนอให้เป็นส่วนหนึ่งของ แพลตฟอร์ม.

Michael Cucchi จาก Pivotal กล่าวว่าเป้าหมายคือการให้บริการขั้นสูงของบริษัทของเขาให้ทำงานบนแพลตฟอร์มข้อมูล Hortonworks

“HAWQ จะพร้อมใช้งานบน Hortonworks จากนั้นเราจะตามด้วย GemFire ​​[ฐานข้อมูลในหน่วยความจำ NoSQL] และการรวมฐานข้อมูล Greenplum เข้ากับการกระจาย Hadoop ของพวกเขา สิ่งเหล่านี้จะแปลไปสู่การกระจายแพลตฟอร์มข้อมูลอื่น ๆ ในอนาคตซึ่งเป็นจุดสำคัญของความคิดริเริ่ม [Open Data Platform] นี้” เขากล่าว

“จริงๆ แล้วเราจะมอบการสนับสนุนขั้นสูงของ Hortonworks ให้กับลูกค้าของ Pivotal HD [การจัดจำหน่าย Hadoop ของ Pivotal] ดังนั้น ลูกค้าจะได้รับการสนับสนุนที่ดีที่สุดในโลกสำหรับ HAWQ จากเรา และพวกเขาจะได้รับการสนับสนุนที่ดีที่สุดในโลกสำหรับ Hadoop จาก Hortonworks"

Shaun Connolly จาก Hortonworks กล่าวว่าความสัมพันธ์ระหว่างทั้งสองบริษัทจะช่วยให้ลูกค้าสามารถใช้งานได้ เทคโนโลยี เช่น HAWQ หรือ GemFire ​​บนสถาปัตยกรรมที่ใช้ YARN บนแพลตฟอร์มข้อมูล Hortonworks หรือด้วย พิโวทอล เอชดี

"แต่หากลูกค้าซื้อผลิตภัณฑ์ Pivotal Hadoop และพวกเขามีปัญหาเกี่ยวกับส่วนประกอบที่เป็น Hortonworks เป็นหลัก เราก็มีผู้รับผิดชอบ ในชุมชนโอเพ่นซอร์สที่กำลังทำงานเกี่ยวกับสิ่งเหล่านั้น - Pivotal สามารถเร่งกรณีการสนับสนุนจากทีมสนับสนุนของพวกเขาให้เป็นผู้เชี่ยวชาญที่ Hortonworks ดังนั้นเราจะสามารถให้การสนับสนุนระดับ 2 และระดับ 3 แก่ลูกค้าของ Pivotal ได้อย่างราบรื่น" เขากล่าว

นอกเหนือจากการประกาศ Open Data Platform แล้ว Pivotal ยังเปิดเผยแผนการในส่วนของโอเพ่นซอร์สอีกด้วย เทคโนโลยีข้อมูลขนาดใหญ่ รวมถึงแกนหลักของฐานข้อมูล Greenplum ที่ประมวลผลแบบขนานขนาดใหญ่, HAWQ และ เจมไฟร์.

Michael Cucchi จาก Pivotal กล่าวว่าองค์ประกอบหลักแบบโอเพ่นซอร์สของ Big Data Suite จะเพิ่มการยอมรับ เทคโนโลยีโดยชุมชนและช่วยให้ผู้ให้บริการซอฟต์แวร์และโครงสร้างพื้นฐานสามารถใช้โค้ดและขยายได้ มัน.

"เรากำลังจะเปิดตัวข้อเสนอหลักหลักของเรา และจะเป็นฐานโค้ดโอเพ่นซอร์สที่ทำงานได้อย่างสมบูรณ์ อย่างไรก็ตาม เราจะระงับฟีเจอร์ขั้นสูงไว้” เขากล่าว

"คุณสามารถคิดว่ามันเป็นรูปแบบสิทธิ์การใช้งานแบบคู่ซึ่งมีฟังก์ชันการทำงานหลักของผลิตภัณฑ์อยู่ ชุมชนโอเพ่นซอร์ส แต่คุณสมบัติขั้นสูงบางอย่างจะพร้อมใช้งานผ่านการอนุญาตให้ใช้สิทธิ์ด้วย การพิจาณา"

ตัวอย่างของคุณสมบัติขั้นสูงที่ Pivotal จะสงวนไว้สำหรับการออกใบอนุญาตระดับองค์กร ได้แก่ ตัวเลือก Pivotal Query Optimizer, Orca และ WAN ของ Greenplum สำหรับ GemFire

"เราจะระงับสิ่งต่างๆ เช่น การเชื่อมต่อ WAN" ดังนั้นลูกค้าจึงสามารถขยาย GemFire ​​ได้ในที่เดียว แต่เมื่อพวกเขาต้องการสร้างฐานข้อมูลแบบกระจายระดับองค์กรระดับโลกอย่างแท้จริง พวกเขาจะมาถึง Pivotal สำหรับการเชื่อมต่อ WAN” Cucchi กล่าว

"HAWQ มีความคล้ายคลึงกับ Greenplum มาก เป็นโซลูชัน SQL-on-Hadoop ที่ทันสมัยที่สุดในโลก และเหตุผลที่เป็นโซลูชันที่ล้ำหน้าที่สุดก็คือ โซลูชันนี้ใช้ตัวเพิ่มประสิทธิภาพคิวรีและตัวดำเนินการเดียวกันกับที่อยู่ใน Greenplum ดังนั้น HAWQ จะดูคล้ายกับ Greenplum มาก เครื่องมือเพิ่มประสิทธิภาพการสืบค้นจะถูกระงับและคุณลักษณะเฉพาะอื่น ๆ ขององค์กรอีกสองสามรายการ ตอนนี้เรากำลังอยู่ในระหว่างการพิจารณาข้อมูลเฉพาะเจาะจงที่แท้จริงของสิ่งนี้"

Big Data Suite ของ Pivotal ซึ่งขณะนี้พร้อมใช้งานในระบบคลาวด์บน Cloud Foundry และปลายปีนี้ในฐานะอุปกรณ์ทางกายภาพที่แข็งแกร่ง ยังเพิ่มบริการข้อมูลใหม่หลายอย่าง รวมถึงเฟรมเวิร์กการนำเข้า Spring XD, การจัดเก็บคีย์-ค่า Redis และข้อความ RabbitMQ นายหน้า

ข้อมูลเพิ่มเติมเกี่ยวกับ Hadoop และ Big Data

• Databricks CEO: เหตุใดบริษัทจำนวนมากจึงหันมาสนใจ Apache Spark
• MySQL: Percona เสียบเข้ากับเครื่องมือจัดเก็บข้อมูล TokuDB สำหรับชุดข้อมูลขนาดใหญ่
• Cloudera เชื่อมโยงกับ Cask ผู้พัฒนา Hadoop
• Mesosphere และ MapR เชื่อมโยงกันบน Myriad เพื่อสร้างแพลตฟอร์มข้อมูลขนาดใหญ่เพียงแห่งเดียวเพื่อควบคุมพวกมันทั้งหมด
• Teradata เปิดตัวแอป Big Data และอัปเดต Loom
• MapR CEO พูดถึง Hadoop ความเป็นไปได้ในการเสนอขายหุ้น IPO ในปี 2558
• Teradata เข้าซื้อกิจการ RainStor ผู้สร้างแอปเก็บถาวร
• Hortonworks ขยายโปรแกรมการรับรอง หวังเร่งการนำ Hadoop ไปใช้ในระดับองค์กร
• Actian เพิ่มเครื่องมือวิเคราะห์กราฟของ SPARQL City ลงในคลังแสง
• SQL ของ Splice Machine บนฐานข้อมูล Hadoop มีการเปิดตัวทั่วไป