Garage - โอเพนซอร์สสตอเรจอ็อบเจ็กต์แบบกระจายที่เข้ากันได้กับ S3

 (git.deuxfleurs.fr)
25 คะแนน โดย xguru 2024-07-22 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • บริการสตอเรจอ็อบเจ็กต์แบบกระจายที่เข้ากันได้กับ Amazon S3 ออกแบบมาสำหรับการโฮสต์เองในระดับขนาดเล็กถึงกลาง
  • ออกแบบมาสำหรับสตอเรจคลัสเตอร์ที่ประกอบด้วยโหนดซึ่งทำงานอยู่ในตำแหน่งทางกายภาพที่แตกต่างกัน
    • รองรับมัลติไซต์และยังคงมีน้ำหนักเบา
    • ความทนทานสูง: รับมือกับปัญหาเครือข่ายล่ม ความหน่วงเครือข่าย ดิสก์เสีย และความผิดพลาดของผู้ดูแลระบบได้ดี
  • มีไบนารีแบบไม่พึ่งพา dependency ที่รันได้บนทุก Linux distribution
  • ดีพลอยได้รวดเร็ว ปฏิบัติการได้อย่างปลอดภัย: เป็นมิตรกับผู้ดูแลระบบ
  • ฟีเจอร์ที่รองรับ
    • เข้ากันได้กับ S3 API (ยังไม่ครบทั้งหมด)
    • Geo-distribution : เก็บสำเนาข้อมูลไว้หลายตำแหน่งเพื่อรองรับเหตุขัดข้อง
    • ดีพลอยได้ง่าย ไม่มี dependency ภายนอก
    • โทโพโลยีที่ยืดหยุ่น: เพิ่ม/ลบโหนดได้ง่ายและทำ rebalancing อัตโนมัติ
    • รองรับหลายโหมดการทำสำเนา: 1,2,3,5,7,,,
    • ทำ deduplication และบีบอัดแบบเลือกได้ (Zstd)
    • ไม่มี RAFT ที่ทำให้ความเร็วลดลง
    • เว็บเซิร์ฟเวอร์สำหรับโฮสต์เว็บไซต์แบบสแตติก
    • บักเก็ตสามารถมี alias ได้หลายรายการ
    • API สำหรับจัดการคลัสเตอร์
    • มีเมตริกในรูปแบบข้อมูลของ Prometheus
    • ทำงานร่วมกับ Kubernetes และ Nomad
    • รองรับการเปลี่ยน IP
    • K2V API (ทดลอง): API สำหรับสตอเรจแบบ Key/Value

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
sftblw 2024-07-22

เว็บไซต์หลักคือ https://garagehq.deuxfleurs.fr/
 
xguru 2024-07-22

ความคิดเห็นใน Hacker News

  • ใช้ Minio มา 2 ปีแล้วจึงย้ายไป Garage

    • Minio มีปัญหาในการจัดการไฟล์ขนาดเล็ก
    • SSD ช่วยแก้ปัญหาได้ระดับหนึ่ง แต่ HDD ไม่ช่วย
    • แม้ในโหมด synchronous ก็ยังเกิดประสิทธิภาพตกกับ Minio
    • หลังย้ายไป Garage พบว่าประสิทธิภาพดีขึ้น 20-30 เท่า

  • ต้องการที่เก็บ Blob แบบ content-addressed

    • ถ้าเก็บ immutable blob ด้วย hash จะช่วยลดความซับซ้อนและ overhead ด้านประสิทธิภาพได้
    • เมื่อใช้ร่วมกับ soft delete ทุกการทำงานจะเป็น idempotent และ blob ก็แคชได้ง่าย
    • แม้จะมีโซลูชันขนาดใหญ่แบบ IPFS อยู่แล้ว แต่ก็ยังต้องการตัวแทน S3 สำหรับการ deploy แบบโลคัล

  • ใช้ Garage มานานแล้ว แต่ไม่ชอบโปรโตคอล AWS sigv4

    • อยากส่ง API key ผ่าน header
    • อยากรับส่งไฟล์โดยไม่ใช้ AWS SDK
    • ไม่ได้สนใจข้อดีด้านความปลอดภัยของ AWS sigv4
    • อยากให้พิจารณาวิธีการยืนยันตัวตนแบบอื่น

  • SeaweedFS ก็ยอดเยี่ยมเช่นกัน

  • ชื่นชมการใช้หน่วยความจำต่ำของ Garage

    • ต้องการฟีเจอร์สำรองข้อมูลบาง bucket ไปยัง AWS S3 อัตโนมัติ

  • Garage รองรับการจำลองข้อมูลที่เก็บแบบเป็นคู่

    • ถ้ามีดิสก์ 10GB กับ 1TB จะรองรับได้แค่การทำมิเรอร์คล้าย RAID1
    • ความจุที่ใช้งานได้จะถูกจำกัดไว้ที่ 10GB

  • Apache Ozone เป็นอีกทางเลือกของ object storage ที่รันบน Hadoop

  • ต้องการโซลูชันง่าย ๆ ที่มีความเข้ากันได้กับ S3 สำหรับใช้งานแบบโลคัล

    • สงสัยว่ามีอะไรที่น่าแนะนำสำหรับงานพัฒนาและการทดสอบหรือไม่