FLUX โมเดลสร้างภาพที่รวดเร็วและเป็นโอเพนซอร์ส

 (replicate.com)
3 คะแนน โดย GN⁺ 2024-10-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • FLUX ทำงานได้เร็วขึ้นบน Replicate และได้เปิดซอร์สโค้ดที่ปรับแต่งประสิทธิภาพไว้ เพื่อให้ทุกคนสามารถตรวจสอบและปรับปรุงต่อได้
  • เคล็ดลับของการเพิ่มความเร็ว
    • โมเดล FLUX ดูแลร่วมกับ Black Forest Labs และมีการปรับแต่งหลักอยู่สองส่วน
      • การปรับแต่งโมเดล: ใช้ torch.compile และ CuDNN attention kernel เพื่อเพิ่มประสิทธิภาพ
      • เพิ่ม synchronous HTTP API แบบใหม่เพื่อปรับปรุงความเร็วของโมเดลภาพอย่างมาก
    • การควอนไทซ์ของ flux-fp8-api ทำให้ผลลัพธ์เปลี่ยนไปเล็กน้อย แต่ไม่กระทบคุณภาพอย่างมีนัยสำคัญ
    • เปิดเผยวิธีการปรับแต่งอย่างโปร่งใส และให้ผู้ใช้สามารถปิดการปรับแต่งได้
  • ความเร็วของโอเพนซอร์ส
    • โดยทั่วไปโมเดลโอเพนซอร์สมักช้า และผู้ให้บริการโมเดลมักนำไปปรับแต่งแล้วให้บริการเป็น API แบบปิด
    • ต้องการเปิดซอร์สการปรับปรุงทั้งหมดของ FLUX เพื่อร่วมมือกับชุมชนในการพัฒนาโมเดลที่เร็วขึ้นกว่าเดิม
  • การใช้งาน FLUX
    • นอกจากการรัน FLUX บน Replicate แล้ว ยังนำไปใช้งานได้หลากหลาย
      • สามารถปรับจูน FLUX แบบละเอียดด้วยข้อมูลของผู้ใช้ได้
      • สามารถแก้ไขโค้ดและนำเวอร์ชันที่ปรับแต่งเองไปเผยแพร่ได้
      • สามารถลองใช้โมเดลและเปรียบเทียบผลลัพธ์ได้ใน playground ใหม่

สรุปโดย GN⁺

  • FLUX มอบโอกาสให้ทุกคนใช้โมเดลที่ปรับแต่งประสิทธิภาพแล้วได้ ผ่านการเพิ่มประสิทธิภาพบน Replicate และการเปิดโอเพนซอร์ส
  • ความพยายามในการแก้ปัญหาความช้าของโอเพนซอร์ส จะช่วยให้การพัฒนาโมเดลที่เร็วขึ้นเป็นไปได้ผ่านความร่วมมือกับชุมชน
  • ความเป็นไปได้ในการใช้งาน FLUX ที่หลากหลาย เปิดโอกาสให้ผู้ใช้สร้างโซลูชันที่ปรับให้เหมาะกับตนเองได้
  • โครงการอื่นที่มีฟังก์ชันคล้ายกัน ได้แก่ TensorFlow และ PyTorch

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-10-15
ความคิดเห็นบน Hacker News

  • มีความเห็นว่ารู้สึกว่าโมเดลแปลงข้อความเป็นภาพนั้นไม่มีประสิทธิภาพ และการแยกประมวลผลออกเป็นหลายขั้นตอนน่าจะดีกว่า โดยแต่ละขั้นตอนสามารถฝึกแยกกันได้ จึงทำให้ทำเป็นโมดูลได้และแก้ไขภาพได้ง่ายขึ้น

    • ยกตัวอย่างว่า จะทำให้การสร้างภาพแบบ "วัตถุ x อยู่ข้างวัตถุ y และมีข้อความ foo อยู่ด้านบน" ง่ายขึ้น
    • กล่าวถึงว่าควรมีโมเดลเรนเดอร์ขั้นสุดท้ายแยกจากพรอมป์ต์ เพื่อให้ปรับสไตล์ศิลปะหรือระดับความสมจริงได้

  • เน้นว่าซอฟต์แวร์ที่ใช้ได้แบบไม่เชิงพาณิชย์ไม่ใช่โอเพนซอร์ส และอธิบายว่าหากผู้สร้างเดิมหยุดบำรุงรักษา คนอื่นก็ไม่สามารถทำต่อได้หรือไม่ก็ต้องทำงานฟรี

    • โอเพนซอร์สให้ไลเซนส์ที่ทำให้ทุกคนสามารถพัฒนาต่อได้เมื่อผู้สร้างเดิมหยุดทำงาน
    • มีเพียง FLUX.1 [schnell] เท่านั้นที่เป็นโอเพนซอร์ส (Apache2) ส่วน FLUX.1 [dev] ใช้ได้แบบไม่เชิงพาณิชย์

  • เสนอว่าหากอยากใช้ FLUX.schnell ได้ง่าย ๆ ให้ใส่พรอมป์ต์ลงใน URL ของ Pollinations

    • ระบุว่าความเร็วของ FLUX น่าทึ่งมาก โดยสร้างภาพได้ 8,000 ภาพทุก ๆ 30 นาทีด้วย GPU L40S เพียง 3 ตัว

  • บอกว่าชอบใช้ FLUX สร้างภาพพื้นหลังสีขาวสำหรับใช้บน Substack

    • อธิบายว่าดีเพราะสามารถสื่อบางอย่างในเชิงภาพควบคู่กับข้อความได้

  • ระบุว่า FLUX เป็นผู้นำในด้านการทำตามพรอมป์ต์ในบรรดาระบบสร้างภาพที่โฮสต์เองได้ แต่รู้สึกไม่สะดวกที่มักมีระยะชัดตื้นปรากฏอยู่เสมอ

  • ระบุว่าได้ยกเลิกการสมัคร Midjourney แล้ว และกำลังพิจารณา Replicate กับ Ideogram

  • สงสัยเกี่ยวกับข้อมูลฝึกของ FLUX 1.1 โดยอธิบายว่าภาพที่สร้างออกมาดูเหมือนภาพถ่ายส่วนตัว

    • ตั้งคำถามว่าข้อมูลฝึกถูกนำมาจากโพสต์สาธารณะบน Facebook, Snapchat, Vkontakte และแหล่งอื่น ๆ หรือไม่

  • คิดว่าโมเดล FLUX 1.1 pro คงไม่ได้ใช้ข้อมูลฝึกที่แตกต่างจากโมเดลโอเพนก่อนหน้านี้อย่างมีนัยสำคัญ

  • กล่าวถึงหน้าการเปรียบเทียบของ FLUX และอธิบายว่าเวอร์ชันเน้นความเร็วแสดงภาพที่ต่างจากโมเดลต้นฉบับอย่างสิ้นเชิง

  • กล่าวถึงข้อถกเถียงเรื่องโอเพนซอร์สของโมเดลจาก Meta และอธิบายว่าในกรณีของ FLUX มีเพียง FLUX schnell เท่านั้นที่เป็นโอเพนซอร์ส

    • ระบุว่าโมเดล Llama ของ Meta มีไลเซนส์ที่ผ่อนปรนกว่า และปรับแต่งได้ง่ายกว่า FLUX schnell

  • โต้แย้งว่าชุมชนโอเพนซอร์สควรสนับสนุนโครงการอย่าง OpenFLUX

  • ตั้งคำถามว่าทำไมถึงยังแก้ปัญหาที่มือยังดูแปลก ๆ ไม่ได้