Datadog เข้าซื้อกิจการ Quickwit
(quickwit.io)- ทีม Quickwit จะ เข้าร่วมกับ Datadog และมุ่งพัฒนาผลิตภัณฑ์ใหม่ โดยมีแผนเปิดตัว Quickwit เวอร์ชันใหม่ภายใต้ Apache License 2.0 เพื่อให้ชุมชนสานต่อได้
- จุดเริ่มต้นมาจากข้อจำกัดด้านการขยายระบบและต้นทุนการดำเนินงานที่สูงของ Elasticsearch โดย Quickwit ตั้งเป้าเป็นเสิร์ชเอนจินที่ คุ้มค่ากว่าเกิน 10 เท่า และขยายได้ถึงระดับมัลติเพตะไบต์
- Binance สร้าง บริการล็อกขนาด 100PB ด้วย Quickwit และทำการทำดัชนีได้วันละ 1.6PB ขณะที่ Mezmo ก็ประมวลผลลูกค้าหลายพันรายและล็อกระดับเพตะไบต์ในโปรดักชัน
- แม้ความสนใจต่อโอเพนซอร์ส รายได้ที่เพิ่มขึ้น และการพิจารณาระดมทุน Series A จะดำเนินต่อไป แต่โครงสร้างทีมที่กระจายอยู่ระหว่าง Tokyo, Paris และ New York ทำให้ภาระในการขยายองค์กรเพิ่มขึ้น จึงเริ่มพิจารณา โอกาสในการเข้าซื้อกิจการ
- มีการวางแผนอัปเดตสำคัญสำหรับทั้ง Quickwit และ tantivy โดย Quickwit เวอร์ชันใหม่จะมี distributed ingest, การทำ cardinality aggregation รวมถึงการปรับปรุงด้านประสิทธิภาพและหน่วยความจำ
การเข้าร่วมกับ Datadog และการสานต่อโอเพนซอร์ส
- ทีม Quickwit จะ เข้าร่วมกับ Datadog และมุ่งเน้นการสร้างผลิตภัณฑ์ใหม่ร่วมกับ Datadog
- เพื่อให้ชุมชนสามารถสานต่อ Quickwit ได้ จะมีแผนเปิดตัวเวอร์ชันใหม่ภายใต้ Apache License 2.0 ในเร็ว ๆ นี้
- ทั้ง Quickwit และ tantivy มีอัปเดตสำคัญที่กำลังจะมา
- Quickwit เวอร์ชันใหม่จะมี distributed ingest ที่ชุมชนเรียกร้องมาโดยตลอด
- จะมีการเพิ่ม cardinality aggregation การปรับปรุงประสิทธิภาพและหน่วยความจำ รวมถึงฟีเจอร์อื่นเพิ่มเติม
ปัญหาที่ Quickwit ต้องการแก้
- Quickwit เริ่มต้นจากแนวคิดการทำงานร่วมกันมาอย่างยาวนานของวิศวกรสามคนคือ Paul, Adrien และ François
- จุดเริ่มสำคัญคือ tantivy ซึ่งเป็นโปรเจกต์ส่วนตัวของ Paul ในปี 2020
- tantivy เป็นที่รู้จักอยู่แล้วในฐานะทางเลือกยอดนิยมของ Lucene
- ปัญหาหลักที่ทีมต้องการแก้คือ ความสามารถในการขยายระบบและต้นทุนการดำเนินงานของ Elasticsearch
- Elasticsearch ขยายระบบได้ไม่อย่างมีประสิทธิภาพ
- ต้นทุนสูงเกินไป
- ความซับซ้อนในการปฏิบัติการเพิ่มขึ้น
- เป้าหมายคือการสร้างเสิร์ชเอนจินที่ผู้ดูแลระบบสามารถบริหารได้อย่างมั่นใจ ขยายได้ถึงระดับ มัลติเพตะไบต์ และมีความคุ้มค่าด้านต้นทุนมากกว่าอย่างน้อย 10 เท่า
ทีมแบบกระจายตัวและการพัฒนาโอเพนซอร์สในระยะแรก
- การพัฒนาเริ่มต้นด้วยโครงสร้างทีมแบบกระจายตัว โดย Adrien อยู่ที่ San Francisco, Paul อยู่ที่ Tokyo และ François อยู่ที่ Paris
- ทีมใช้ประโยชน์จากเขตเวลาที่แตกต่างกันเพื่อสร้างวงจรการพัฒนาแบบ follow-the-sun
- การเลือกใช้ Rust ส่งผลอย่างมากต่อความเร็วและเสถียรภาพในการพัฒนาช่วงแรก
- เดโมแรกที่สร้างจากชุดข้อมูล Common Crawl ขึ้นไปถึง หน้าแรกของ HN
- แทบไม่มีบั๊กเลย โดยมีข้อยกเว้นที่ถูกกล่าวถึงคือข้อผิดพลาด
"'NoneType' object has no attribute"ของ Python เพียงครั้งเดียว
- เวอร์ชันแรกเปิดตัวเมื่อ 13 กรกฎาคม 2021
- การทำโอเพนซอร์สเป็นทั้งทางเลือกเชิงกลยุทธ์และเป็นทางเลือกที่เป็นธรรมชาติสำหรับวิศวกร
- การถูกนำเสนอใน HN นำไปสู่บทสนทนากับผู้ใช้กลุ่มแรก แต่เมื่อการพูดคุยเพิ่มขึ้น ก็เห็นชัดว่ามีฟีเจอร์ที่ยังขาดอยู่มากและต้องมีการพัฒนาเพิ่มเติมจำนวนมาก
กรณีการใช้งานขนาดใหญ่และการมีส่วนร่วมต่อระบบนิเวศ Rust
- การได้พบกับทีมวิศวกรรมของ Mezmo และ Binance เป็นจุดเปลี่ยนที่ทำให้ Quickwit พัฒนาเป็นผลิตภัณฑ์ขนาดใหญ่ที่ใช้งานจริง
- Binance สร้าง บริการล็อกขนาด 100PB ด้วย Quickwit
- ทำการทำดัชนีได้ 1.6PB ต่อวัน
- Mezmo นำ Quickwit ไปใช้ในโปรดักชันเพื่อประมวลผลลูกค้าหลายพันรายและล็อกระดับเพตะไบต์
- โดยยังมอบประสบการณ์ใช้งานแบบเดิม พร้อมลดต้นทุนโครงสร้างพื้นฐานและความซับซ้อนได้อย่างมาก
- ความร่วมมือเหล่านี้ช่วยให้ Quickwit กลายเป็น เสิร์ชเอนจินระดับมัลติเพตะไบต์ ที่คุ้มค่าด้านต้นทุน
- ระหว่างการพัฒนา Quickwit ทีมยังมีส่วนร่วมกับไลบรารีต่าง ๆ ในระบบนิเวศ Rust ด้วย
- tantivy: ไลบรารีเสิร์ชเอนจินแบบ full-text ที่เป็นรากฐานของ Quickwit
- chitchat: โปรโตคอล cluster membership ที่มีระบบตรวจจับความขัดข้อง โดยได้แรงบันดาลใจจาก Cassandra และ DynamoDB
- Bitpacking: อัลกอริทึม SIMD สำหรับการบีบอัดจำนวนเต็มด้วย bitpacking
- Whichlang: ไลบรารีตรวจจับภาษาที่รวดเร็วและมีขนาดเบาสำหรับ Rust
- Mrecordlog: write-ahead log ที่มีประสิทธิภาพ ออกแบบมาสำหรับ multi-tenancy
กระบวนการเลือก Datadog
- ในฤดูร้อนปี 2024 Quickwit เผชิญทั้งความสนใจต่อโอเพนซอร์สที่เพิ่มขึ้น รายได้ที่เติบโตอย่างรวดเร็ว และความสนใจอย่างจริงจังจาก VC
- บริษัทมองว่าถึงเวลาที่จะเปิดบทใหม่และผลักดันรอบระดมทุน Series A
- แต่โครงสร้างทีมที่กระจายอยู่ระหว่าง Tokyo, Paris และ New York ก็สร้างภาระมากอยู่แล้ว และการขยายองค์กรอาจยิ่งทำให้ความยากลำบากนี้เพิ่มขึ้น
- ท้ายที่สุด Quickwit จึงตัดสินใจมองหาบ้านหลังใหม่และพิจารณา โอกาสในการเข้าซื้อกิจการ
- Datadog โดดเด่นอย่างชัดเจนจากบรรดาตัวเลือกทั้งหมด
- ความสามารถของ Datadog ในการมอบประสบการณ์ผู้ใช้ที่ยอดเยี่ยม
- เสิร์ชเอนจินระดับเพตะไบต์ของ Quickwit
- โอกาสในการสร้างโซลูชันที่ทรงพลังและนำไปติดตั้งในสภาพแวดล้อมของลูกค้า
- ความกังขาในช่วงแรกต่อการเข้าร่วมองค์กรขนาดใหญ่ค่อย ๆ หายไปหลังจากได้พูดคุยกับทีม Datadog
- จากการพูดคุย ทีมพบทั้งความสามารถทางปัญญา ความถ่อมตน และวัฒนธรรมที่จริงใจของ Datadog
ชุมชนและลูกค้า
- ทีม Quickwit กล่าวขอบคุณพนักงาน นักลงทุน ผู้มีส่วนร่วม เพื่อน และผู้สนับสนุน
- ลูกค้าที่ถูกกล่าวถึง ได้แก่ Mezmo, Formal, Radiant Security, MatterLabs, Fly.io
- ชุมชนได้รับคำขอบคุณในฐานะผู้ที่ร่วมเป็นส่วนหนึ่งของเส้นทางของ Quickwit มาตลอด
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ในฐานะผู้ร่วมก่อตั้ง Quickwit พอเห็นข่าว Datadog เข้าซื้อขึ้นหน้าแรกของ HN แล้วรู้สึกเหมือนเดินทางมาครบรอบจริง ๆ
เส้นทางของ Quickwit ผูกพันกับ HN มาตั้งแต่ต้น และกระบวนการทั้งหมดก็ถูกบันทึกไว้ผ่านโพสต์หน้าแรกของ HN เหล่านี้: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
การได้ขึ้นหน้าแรกเหล่านี้ล้วนเป็นหมุดหมายสำคัญ และเราทุ่มเทกับบทความด้านวิศวกรรมอย่างจริงใจ เพราะอยากเติมสิ่งที่มีคุณค่าให้คอมมูนิตี้ ผมมั่นใจว่า HN มีบทบาทสำคัญต่อ ความสำเร็จของ Quickwit ทั้งในแง่การมองเห็น ฟีดแบ็กเชิงบวก คอมเมนต์วิจารณ์ และลีดที่ติดต่อเข้ามาโดยตรง
ผมชอบ pg_search https://www.paradedb.com/blog/introducing_search ซึ่งบริษัทอื่นเป็นคนสร้าง แต่ดูเหมือนจะสร้างอยู่บน Tantivy และนี่คือข้อดีใหญ่ของโอเพนซอร์ส เพียงแต่กังวลว่าหลังการเข้าซื้อครั้งนี้การพัฒนาจะหยุดลงหรือเปล่า อยากรู้ว่าการพัฒนา Tantivy แบบเปิดต่อไปจะช่วยรายได้ของ Datadog ได้อย่างไร
ในฐานะคนที่ไม่ค่อยถูกใจกับผลิตภัณฑ์ที่อิง Apache Lucene (Solr, Elastic) ผมดีใจจริง ๆ ที่ Tantivy ออกมาเป็นโอเพนซอร์ส การให้คะแนนแบบ BM25, การรองรับภาษาเอเชียอย่างเหมาะสม, ความเร็ว, การใช้หน่วยความจำ ฯลฯ ล้วนยอดเยี่ยม
https://github.com/quickwit-oss/tantivy
ผมคิดว่า Datadog เลือกได้ฉลาดแล้ว ถ้า Tantivy เองยังคงอยู่ภายใต้ไลเซนส์ Apache 2 ตลอดไป และอยู่ร่วมกับคอมมูนิตี้โอเพนซอร์สได้อย่างยั่งยืน เท่านี้ก็เพียงพอแล้ว พวกเขาสมควรได้รับความสำเร็จทางการค้า
เมื่อต้นปี Quickwit ดูเหมือนจะพยายามเพิ่มไลเซนส์ระดับองค์กรใน PR #5529 แต่ในประกาศครั้งนี้กลับบอกว่าจะรีไลเซนส์เป็น Apache License 2.0 เพื่อให้คอมมูนิตี้เดินหน้าต่อได้
เนื้อหาคือ “เราจะมุ่งเน้นไปที่การสร้างผลิตภัณฑ์ใหม่ร่วมกับ Datadog และเพื่อให้คอมมูนิตี้โอเพนซอร์สดำเนินต่อไปได้ เราจะออกอัปเดตใหญ่ของ Quickwit และ tantivy เร็ว ๆ นี้ พร้อมรีไลเซนส์เป็น Apache License 2.0”
สุดท้ายเราจะได้ Quickwit ที่มีไลเซนส์เสรีกว่าเดิม แต่ถ้าอ่านระหว่างบรรทัดแล้ว ดูเหมือนว่าการพัฒนาจะลดลงโดยพฤตินัย จากที่เคยใช้มา มันเสถียรดีจึงไม่ได้มีอะไรให้บ่นมากนัก แต่ผมเคยตั้งตารอว่าในอนาคตจะมีอะไรใหม่ ๆ เพิ่มเข้ามาอีก
อย่างไรก็ดี ดูเหมือนพวกเขาอยากปล่อยผลิตภัณฑ์ปัจจุบันภายใต้ ไลเซนส์ที่เข้ากันได้กับ OSI เพื่อให้คอมมูนิตี้รับช่วงต่อได้ และถ้าเป็นแบบนี้ก็ถือเป็นการประนีประนอมที่โอเคแล้ว มันอาจแย่กว่านี้ได้มาก
Datadog เองก็ไม่ใช่บริษัทที่ไม่เกี่ยวข้องกับโอเพนซอร์สเลย Vector ซึ่งเป็นเครื่องมือไปป์ไลน์ด้าน observability ที่เปิดให้ใช้ทั่วไป ก็เป็นผลิตภัณฑ์ที่ค่อนข้างแข็งแรง: https://vector.dev/
ช่วงหลังมีฐานข้อมูลยุคใหม่หลายตัวถูกซื้อกิจการไป เลยรู้สึกเสียดายนิดหน่อย เพราะมันมีศักยภาพที่จะนำมาซึ่งนวัตกรรมมากมาย
https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/
Supabase กำลังทำหน้าที่เป็นช่องทางเผยแพร่ช่วงแรก เพื่อให้ทีม OrioleDB โฟกัสกับ storage engine มากกว่าการโฮสต์ และได้รับฟีดแบ็กจากผู้ใช้กับรายงานบั๊กจำนวนมาก เป้าหมายร่วมกันคือพัฒนา OrioleDB ให้เป็น ตัวเลือก storage engine พื้นฐานของ Postgres ที่ใช้ได้ทุกที่ ไม่ใช่แค่บน Supabase
ผมเคยพบผู้ก่อตั้งทั้งสามบริษัท และมั่นใจว่าทุกคนจริงจังกับการนำงานของตัวเองออกสู่โลก อนึ่ง ParadeDB ยังเป็นอิสระ และในระยะใกล้นี้ก็ไม่มีแผนขายกิจการ
เริ่มนับถอยหลังจนกว่า Datadog จะหาวิธีคิดเงินตาม node, CPU, container, RAM(KB) และจำนวนอักขระ Unicode ที่ถูกทำดัชนีได้
โมเดลราคาค่อนข้างซับซ้อน พอเวลาผ่านไปก็เริ่มสงสัยว่าฟีเจอร์ดี ๆ เหล่านี้คุ้มกับราคาที่สูงขนาดนั้นจริงหรือไม่
Mezmo บอกว่าเอา Quickwit เข้า production เพื่อรองรับลูกค้าหลายพันรายกับ logs ระดับเพตะไบต์ และลดต้นทุนกับความซับซ้อนของ infrastructure ได้มาก แต่หลังจากนั้นไม่นาน Quickwit กลับถูกขายให้คู่แข่ง คงยากที่จะรู้สึกดีกับเรื่องนี้
ข้อดีสำหรับคนอื่น ๆ คือ มันเป็นสัญญาณว่าถ้า Datadog ทำพัง ก็น่าจะมี ความต้องการ fork อยู่ไม่น้อย
บทความที่เกี่ยวข้อง: Binance built a 100PB log service with Quickwit(6 เดือนก่อน, 228 คะแนน, 195 ความเห็น) https://news.ycombinator.com/item?id=40935701
Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog(1 ปีก่อน, 145 คะแนน, 51 ความเห็น) https://news.ycombinator.com/item?id=38902042
เขาบอกว่า “ตั้งแต่ฤดูร้อนนี้ บรรยากาศเปลี่ยนไป แรงดึงจากโอเพนซอร์สแข็งแกร่งขึ้น รายได้พุ่ง และ VC เข้ามาหาเชิงรุกมากขึ้น ถึงเวลาเปิดบทใหม่ของบริษัทและระดมทุน Series A แล้ว” ถามในเชิงวาทศิลป์ว่า ทำไมต้องเป็นตอนนั้น?
คำตอบแบบตรงไปตรงมาอยู่ตรงนั้นเอง VC ไม่ได้พอใจกับบริษัทที่เติบโตเร็วและมีเทคโนโลยีดีเพียงอย่างเดียว ถ้าเป็น รอบระดมทุนมูลค่าสูงขึ้น ที่เอาไปโชว์เพิ่มมูลค่าพอร์ตได้ก็โอเค แต่ถ้าตลาดไม่ร้อนพอสำหรับ Series A ราคาแพง ก็จะผลักดันให้ exit แทน
ถ้าอยากสร้างธุรกิจเติบโตที่ทำกำไรได้ เงิน VC ไม่ใช่เส้นทางนั้น
ถ้อยคำในบล็อกอาจทำให้เข้าใจผิดเล็กน้อย VC ที่ François พูดถึงน่าจะหมายถึง VC รายอื่น ๆ ที่รู้สถานการณ์ของบริษัทและติดต่อมาเพราะอยากเข้าร่วม eventual Series A มากกว่าจะเป็น VC ที่ลงทุนใน Quickwit อยู่แล้ว
โดยรวมแล้วเราแค่รู้สึกว่าอยู่ตรง “ทางแยก” และไม่มีใครบิดแขนบังคับเรา
เกลียด Datadog มาก ที่บริษัทเราใช้ชื่อ Datadog เหมือนคำด่าเพื่อชี้ถึงวิธีที่ไม่ควรขายหรือทำการตลาด
ช่วงราวปี 2015–2018 ผมเอียนกับวิธีขายของเขาสุด ๆ โทรศัพท์กับอีเมลไม่รู้จบ และฟางเส้นสุดท้ายคือ session เปิดตัว Lambda ที่ AWS re:Invent ตอน Lambda เพิ่งประกาศใหม่ ๆ ทั้งทีมไปฟังเพราะอยากลองใช้ Lambda ตั้งแต่เนิ่น ๆ แต่กลายเป็นว่างานนั้นเป็น presentation ของพนักงาน Datadog ที่เอาเนื้อหาบล็อก “lambda up and running” ของ Barr มาลอกแบบพื้น ๆ แล้วห่อเป็น stand-up comedy และผู้พูดก็ย้ำอยู่เรื่อย ๆ ว่าตัวเองเป็นพนักงาน Datadog เหมือนพยายามเลี้ยงเหล้าให้คนอารมณ์ดีแล้วรู้สึกว่า Datadog เจ๋ง
ถามจริง ๆ นะ หลังจากนั้นบริษัทเปลี่ยนไปมากพอให้กลับมามองใหม่หรือยัง?
อย่างที่อดีตผู้จัดการเคยพูดไว้ ในงบกำไรขาดทุนไม่มีบรรทัดสำหรับ “คนดี” และต้องมีใครสักคนจ่ายต้นทุน ดังนั้นจึงง่ายที่จะนึกถึงเส้นทางมืด ๆ แล้วกังวล
แต่หนึ่งในผลลัพธ์ที่เป็นไปได้คือการเกิดคู่แข่งโอเพนซอร์สที่มีน้ำหนักพอจะสู้กับ ระบบนิเวศ Grafana และแค่นี้ก็อาจช่วยกันไม่ให้ระบบนิเวศที่เหลือเปลี่ยนไลเซนส์ได้ อาจเป็น win-win ที่ผู้ก่อตั้งพบเส้นทางยั่งยืนโดยไม่ต้องสู้เรื่องเงินกับอำนาจ ผมอยากมองในแง่ดี และคงต้องให้เวลาเป็นคำตอบ
เพิ่งย้ายจาก Elastic มาเป็น Quickwit แล้วถึงกับถอนหายใจ มีฐานข้อมูลล็อกตัวอื่นที่เป็นโอเพนซอร์สและใช้ object storage เป็นฐานที่แนะนำได้ไหม?
เมื่อราว 3 ปีก่อน ผลิตภัณฑ์เปลี่ยนค่อนข้างเร็วและเอกสารจำนวนมากอยู่ใน git เลยทำให้ปวดหัวพอสมควรตอนอัปเกรดเวอร์ชันย่อย แต่คิดว่าตอนนี้น่าจะ mature ขึ้นมากแล้ว
สร้างบน ClickHouse จึงเร็วและขยายสเกลได้
https://github.com/SigNoz/signoz
อ้อ ผมเป็นผู้ดูแล SigNoz เอง
เป็นไฟล์ executable เดี่ยวขนาดเล็ก รันได้ทันทีด้วยค่าเริ่มต้น และเก็บข้อมูลทั้งหมดไว้ในไดเรกทอรีเดียว ส่วนการรองรับ object storage จะเพิ่มเข้ามาเร็ว ๆ นี้
อยากรู้ว่า Datadog จะเอาเทคโนโลยีนี้ไปสร้างอะไร เมื่อไม่กี่เดือนก่อนบริษัทนี้ยังเหมือนจะแนะนำตัวเองว่าเป็นคู่แข่งโอเพนซอร์สของ Datadog อยู่เลย
อุตสาหกรรมที่ถูกกำกับอย่างการเงิน ประกันภัย และเฮลท์แคร์ ต้องรักษา observability ทั่วทั้งระบบไปพร้อมกับตอบโจทย์ data residency, ความเป็นส่วนตัว และข้อกำหนดด้านกฎระเบียบ หากล็อกต้องคงอยู่ในสภาพแวดล้อมของลูกค้าหรือในภูมิภาคเฉพาะ ก็จะทำให้การทำ observability และการได้ insight อย่างราบรื่นเป็นเรื่องยาก และดูเหมือนว่า Datadog ต้องการใช้ Quickwit เพื่อตอบโจทย์นี้โดยไม่ต้องเพิ่มเครื่องมือล็อกหลายตัว
Vector โอเพนซอร์สที่เคยซื้อไปก่อนหน้านี้เป็นอย่างไรบ้าง? คนพวกนั้นยังถูกจ้างอยู่ไหม?