Vector - โอเพนซอร์สไปป์ไลน์ข้อมูล Observability ประสิทธิภาพสูง

• แพลตฟอร์มไปป์ไลน์ข้อมูล Observability แบบ end-to-end ประสิทธิภาพสูง (เอเจนต์และตัวรวมข้อมูล) ที่ช่วยให้ผู้ใช้ควบคุมข้อมูลที่สังเกตการณ์ได้
• สามารถรวบรวม แปลง และกำหนดเส้นทาง logs และ metrics เพื่อส่งไปยังผู้ให้บริการรายใดก็ได้ที่ต้องการในปัจจุบัน และไปยังผู้ให้บริการรายอื่นที่อาจต้องการในอนาคตได้
• ช่วยลดต้นทุน พร้อมมอบความสามารถด้านการเสริมข้อมูล (Enrichment) แบบใหม่และความปลอดภัยของข้อมูล เป็นโอเพนซอร์ส และมีความเร็วสูงกว่าทางเลือกอื่นได้สูงสุด 10 เท่า

หลักการ

• ความเชื่อถือได้ - สร้างด้วย Rust โดยมีความเชื่อถือได้เป็นเป้าหมายหลักของการออกแบบ
• End-to-end - ปรับใช้ได้ทั้งในรูปแบบ Agent หรือ Aggregator โดย Vector คือแพลตฟอร์มที่สมบูรณ์
• การรวมเป็นหนึ่ง - logs, metrics (เบต้า), traces (จะเปิดตัวเร็ว ๆ นี้) เครื่องมือเดียวสำหรับข้อมูลทุกประเภท

กรณีการใช้งาน

• ลดต้นทุน Observability โดยรวม
• เปลี่ยนผู้ให้บริการได้โดยไม่รบกวนเวิร์กโฟลว์
• ปรับปรุงคุณภาพข้อมูลและเพิ่มอินไซต์
• รวมเอเจนต์และขจัด agent fatigue
• ปรับปรุงประสิทธิภาพและความเชื่อถือได้ของระบบ observability โดยรวม

ชุมชน

• สตาร์ทอัพและองค์กรขนาดใหญ่ เช่น Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet และ Instacart ต่างพึ่งพา Vector
• Vector ถูกดาวน์โหลดมากกว่า 100,000 ครั้งต่อวัน
• ผู้ใช้รายใหญ่ที่สุดของ Vector ประมวลผลข้อมูลมากกว่า 30TB ต่อวัน
• Vector มีผู้มีส่วนร่วมมากกว่า 100 คน และยังคงเติบโตต่อเนื่อง

[softer]

ไปป์ไลน์ล็อก ว้าว

[xguru]

ความคิดเห็นจาก Hacker News

• การประเมินเชิงบวกต่อซอฟต์แวร์ Vector

  • Vector เป็นซอฟต์แวร์ที่ยอดเยี่ยมสำหรับรัน log pipeline ระดับหลาย GB/s
  • Vector agent ทำงานเป็น DaemonSets เพื่อเก็บ log จาก pod และ journald แล้วส่งไปยัง Vector aggregator ส่วนกลาง (Deployment) โดยใช้โปรโตคอล protobuf ของ Vector
  • รองรับ storage หลากหลายแบบ (s3, gcs/bigquery, loki, prom)
  • เอกสารทำได้ดี แต่บางครั้งอาจหาตัวอย่างของแพตเทิร์นทั่วไปได้ยาก อย่างไรก็ตามเมื่อเวลาผ่านไปและมีผู้ใช้มากขึ้นก็เริ่มดีขึ้น
  • เคล็ดลับคือค้นหาใน Google ด้วยคำว่า "vector dev" เพื่อให้ได้ผลลัพธ์ที่ดี
  • ช่วงหลังมีการเพิ่ม contribution ที่จัดการ counter ได้ดีกว่าเดิมในฐานะทางเลือกของ Prometheus pushgateway

• วิสัยทัศน์และความคาดหวังต่อระบบจัดเก็บ log

  • ระบบประมวลผลและจัดเก็บ log แทบจะพร้อมแล้ว และคาดว่าจะพัฒนาไปเป็นระบบจัดเก็บ log ที่ query ได้ในระยะกลางถึงยาว
  • log จะถูกประมวลผลด้วยเครื่องมืออย่าง Vector แล้วเก็บลง object storage ในรูปแบบไฟล์ที่เป็นที่เข้าใจอย่างแพร่หลาย
  • object ของ log จะถูกลงทะเบียนใน metadata store เพื่อให้ค้นหาได้
  • เครื่องมืออย่าง Delta Lake หรือ Iceberg สามารถทำงานได้ทั้งในสเกลใหญ่และเล็ก
  • log processing pipeline หลายชุดสามารถ commit ลง storage เดียวกันได้
  • เครื่องมือประสิทธิภาพสูงอย่าง Clickhouse, DuckDB, Spark เป็นต้น สามารถอ่านสิ่งเหล่านี้ได้
  • เพราะใช้รูปแบบมาตรฐาน จึงสามารถสลับเครื่องมือหรือใช้หลายเครื่องมือพร้อมกันได้

• ความน่าเชื่อถือและประโยชน์ใช้สอยของ Vector

  • Vector น่าเชื่อถือกว่า beats หรือ vendor-specific forwarder (chronicle forwarder, fdr) มาก
  • Vrl มีประโยชน์สำหรับการ "pre-parse" log ขนาดใหญ่ เช่น aws cloudtrail และ imperva abp

• ประสบการณ์ใช้งานและคำแนะนำเกี่ยวกับ Vector

  • เคยใช้ Vector มาก่อน และพบว่าตั้งค่าได้ง่าย โดยภาษา vrl ก็มีพลังเพียงพอ
  • ฟีเจอร์ "check" ของ CLI ช่วยจับปัญหาในการตั้งค่าได้
  • ขอยืนยันว่าไม่มีปัญหาในด้านประสิทธิภาพและใช้ทรัพยากรอย่างมีประสิทธิภาพ จึงขอแนะนำ

• ความอเนกประสงค์ของ Vector

  • Vector ไม่ได้เป็นแค่ "ประสิทธิภาพสูง" แต่เป็นเหมือนมีดพกสารพัดประโยชน์สำหรับ log และ metrics
  • ใช้ทำงานได้หลากหลาย เช่น แปลง log เป็น metrics, แปลง metrics ไปเป็นรูปแบบอื่น, push ไปยัง data store อื่น ๆ และทำ filtering
  • เป็นตัวเลือกแรกสำหรับการเก็บรวบรวม, aggregate, filter และ pre-process ข้อมูล observability

• ความสนใจและความคาดหวังต่อ Vector

  • เพิ่งมารู้จัก Vector หลังจากตั้งค่า fluent-bit pipeline ใหม่
  • Vector มีฟีเจอร์ที่น่าสนใจมากมาย และถ้ามีเวลาก็อยากลองใช้ให้เร็วกว่านี้
  • คิดว่าน่าจะลองใช้กับโปรเจกต์ใหม่ได้และคาดว่าน่าจะสนุก

• ขอบเขตการใช้งานและความเป็นไปได้ของ Vector

  • ตัวอย่างและการพูดคุยเกี่ยวกับ Vector ที่เคยเห็นส่วนใหญ่เน้นไปที่ฐานข้อมูลหรือแอปพลิเคชันแบบ multi-tenant ที่ซับซ้อน
  • จึงสงสัยว่ามีใครเคยใช้ Vector ในระบบกระจายอย่างรถยนต์ไร้คนขับ เพื่อรวบรวม operational log, สถานะของระบบ, รวมถึง input และ output ของแต่ละแอปพลิเคชันบ้างหรือไม่

• กรณีใช้งานจริงและความเป็นไปได้เพิ่มเติมของ Vector

  • กำลังใช้ Vector สำหรับส่ง log และมันเข้ามาแทนที่การตั้งค่า logstash ที่ไม่สามารถทำงานที่ต้องการได้
  • เพิ่งเริ่มมองเห็นศักยภาพของ Vector เท่านั้น และอยากใช้งานมันให้มากขึ้นอีก
  • อยากได้ข้อมูลเกี่ยวกับกรณีการใช้งาน Vector นอกเหนือจากการส่ง log

• ปัญหาความเชื่อมั่นต่อ Datadog

  • ไม่ค่อยไว้วางใจที่ Datadog เป็นผู้ดูแล Vector ซึ่งดูเหมือนเป็นคู่แข่งของ OTEL

• ฟีเจอร์ของ Vector และแผนติดตามต่อไป

  • Vector น่าสนใจ แต่ตอนนี้ยังใช้งานไม่ได้เพราะไม่มีฟีเจอร์ด้าน tracing
  • มีแผนจะติดตาม Vector ต่อไปในอีกไม่กี่เดือนข้างหน้า และคาดว่าน่าจะมีฟีเจอร์ดี ๆ ที่นำมาใช้ได้