Hyperspace - โอเพนซอร์สระบบย่อยสำหรับทำดัชนีบน Apache Spark ที่ MS เปิดตัว

ระบบย่อยที่ช่วยให้สามารถเร่งความเร็วคิวรีบน Apache Spark ด้วยดัชนี

→ สร้างและจัดการดัชนีสำหรับข้อมูล CSV, JSON, Parquet

→ ใช้ดัชนีเหล่านี้โดยอัตโนมัติเพื่อเร่งความเร็วคิวรี/เวิร์กโหลด โดยไม่ต้องแก้ไขโค้ด

• จากการทดสอบด้วย TPC benchmark ความเร็วคิวรีของแต่ละคิวรีเพิ่มได้สูงสุดถึง 11 เท่า

→ โดยรวมแล้วสามารถเร่งประสิทธิภาพคิวรีได้ราว 2 เท่าเมื่อใช้ฮาร์ดแวร์ทั่วไป

• API ที่เรียบง่าย เช่น create,refresh,delete,restore,vacuum,cancel

• รองรับ Scala, Python, .NET

กำลังถูกใช้งานใน Azure Synapse Analytics บน Microsoft Azure Cloud

( บริการวิเคราะห์แบบไร้ขีดจำกัดที่ผสานคลังข้อมูลระดับองค์กรเข้ากับการวิเคราะห์ Big Data )

[xguru]

บทนำ: Hyperspace, ระบบย่อยสำหรับทำดัชนีของ Apache Spark™ เปิดเป็นโอเพนซอร์สแล้ว

https://cloudblogs.microsoft.com/opensource/2020/…