Krita AI Diffusion - Generative AI สำหรับ Krita เครื่องมือวาดภาพโอเพนซอร์ส

• รองรับ inpaint และ outpaint ภายในเวิร์กโฟลว์ของ Krita
  • เลือกพื้นที่แล้วกดปุ่ม ระบบจะสร้างคอนเทนต์ใหม่ที่สอดคล้องกับภาพ
  • ขยายแคนวาสและเติมพื้นที่ใหม่ด้วยคอนเทนต์ที่สร้างขึ้น เพื่อขยายภาพให้กลมกลืนกับของเดิมอย่างเป็นธรรมชาติ
  • พรอมป์ต์เป็นตัวเลือก จะไม่ใส่ก็ได้
• เป้าหมายคือมอบความสามารถที่มากกว่า "Generative Fill/Expand" ของ Photoshop
• สามารถปรับความเข้มเพื่อรีทัชคอนเทนต์เดิม (img2img) หรือสร้างภาพใหม่ตั้งแต่ต้นก็ได้
• ทุกอย่างทำงานแบบโลคัล เป็นโอเพนซอร์ส และฟรี

สรุปความสามารถ

• Inpaint: ใช้เครื่องมือเลือกของ Krita เพื่อระบุพื้นที่ แล้วลบหรือแทนที่คอนเทนต์เดิมภายในภาพ
• Outpaint: ขยายแคนวาส เลือกพื้นที่ว่าง แล้วเติมคอนเทนต์ที่กลมกลืนกับภาพเดิมโดยอัตโนมัติ
• Generate: สร้างภาพใหม่ตั้งแต่ต้นจากคำหรือจากภาพที่มีอยู่
• Refine: ใช้สไลเดอร์ความเข้มเพื่อปรับรายละเอียดของภาพเดิม แทนการแทนที่คอนเทนต์ทั้งหมด
• Control: ใช้สเก็ตช์หรือลายเส้นเพื่อนำทางการสร้างภาพโดยตรง หรือใช้ depth / normal map จากภาพเดิมหรือฉาก 3D
• Resolutions: ทำงานได้อย่างมีประสิทธิภาพในทุกความละเอียด โดยเลือกระดับความละเอียดที่เหมาะกับโมเดล AI โดยอัตโนมัติและปรับให้เข้ากับพื้นที่ของภาพ
• Upscaling: อัปสเกลภาพเป็น 4k, 8k หรือสูงกว่าได้โดยไม่เจอปัญหาหน่วยความจำไม่พอ พร้อมเพิ่มรายละเอียดให้ภาพ
• Job Queue: เนื่องจากการสร้างภาพอาจใช้เวลาตามฮาร์ดแวร์ จึงสามารถนำงานเข้าคิวและยกเลิกได้
• History: ไม่ใช่ทุกภาพจะออกมาเป็นชิ้นเอก จึงสามารถพรีวิวผลลัพธ์และย้อนดูงานที่สร้างก่อนหน้าและพรอมป์ต์ได้ทุกเมื่อ
• Strong Defaults: มีสไตล์พรีเซ็ตค่าเริ่มต้นที่ยืดหยุ่น เพื่อ UI ที่เรียบง่ายและครอบคลุมหลายสถานการณ์
• Customization: สร้างพรีเซ็ตของตัวเองได้ เช่น เลือก Stable Diffusion checkpoint, เพิ่ม LoRA, ปรับ sampler และอื่น ๆ

เริ่มต้นใช้งาน

• ปลั๊กอินมีตัวติดตั้งแบบรวมสำหรับแบ็กเอนด์ Stable Diffusion
• ข้อกำหนด: Windows หรือ Linux (MacOS ยังไม่ได้ทดสอบ), บน Linux ต้องติดตั้ง Python + venv
• การรองรับฮาร์ดแวร์: หากต้องการรันแบบโลคัล แนะนำการ์ดจอแรงที่มี VRAM อย่างน้อย 6 GB ไม่เช่นนั้นการสร้างภาพจะช้ามาก
• การติดตั้ง: ติดตั้ง Krita, ดาวน์โหลดปลั๊กอินและแตกไฟล์ลงในโฟลเดอร์ pykrita, เปิดใช้งานปลั๊กอินในตั้งค่า Krita แล้วรีสตาร์ต, แสดงปลั๊กอิน docker, คลิก "Configure" เพื่อติดตั้งเซิร์ฟเวอร์
• GPU cloud: สามารถเช่า GPU แทนการรันแบบโลคัลได้ ในกรณีนี้ไม่ต้องทำขั้นตอนที่ 5 และใช้ปลั๊กอินเชื่อมต่อกับเซิร์ฟเวอร์ระยะไกล
• ตัวเลือก: ปรับแต่งเซิร์ฟเวอร์ ComfyUI ได้ จะติดตั้งเองแบบแมนนวลหรือใช้ของที่มีอยู่แล้วแทนการติดตั้งอัตโนมัติก็ได้ หากเซิร์ฟเวอร์รันอยู่ในเครื่องก่อนเปิด Krita ปลั๊กอินจะพยายามเชื่อมต่ออัตโนมัติ และยังใช้เซิร์ฟเวอร์ระยะไกลได้เช่นกัน

ความเห็นของ GN⁺

ประเด็นสำคัญที่สุดของบทความนี้คือการเปิดตัวปลั๊กอินใหม่ที่ช่วยให้ผู้ใช้ Krita นำเทคโนโลยี AI มาใช้เพื่อลดขั้นตอนและยกระดับกระบวนการสร้างสรรค์ได้ ปลั๊กอินนี้มีความสามารถหลากหลาย เช่น การสร้างภาพ การขยายภาพ และการปรับรายละเอียด ซึ่งอาจนำความเปลี่ยนแปลงครั้งใหญ่สู่เวิร์กโฟลว์ของศิลปินดิจิทัล ความเป็นโอเพนซอร์สและความสามารถในการปรับแต่งได้นั้นน่าจะน่าสนใจเป็นพิเศษสำหรับวิศวกรซอฟต์แวร์ระดับเริ่มต้นที่สนใจเทคโนโลยีนี้

[GN⁺]

ความคิดเห็นบน Hacker News

• ชุมชนและทีมหลักของ Krita มีจุดยืนคัดค้าน AI อย่างชัดเจน

  • ผู้แสดงความคิดเห็นซึ่งเป็นส่วนหนึ่งของกลุ่มที่พัฒนาส่วนติดต่อผู้ใช้ของ Krita ระบุว่าได้หยุดทำงานในเวอร์ชันของ Krita ด้วยเหตุผลนี้

• มีการแชร์ประสบการณ์การใช้งานระบบที่รองรับการวาดด้วย AI แบบโต้ตอบได้

  • ระบบใช้ GPU 4090 ที่สามารถรันการวนซ้ำได้ 20-30 ครั้งต่อวินาที
  • หากคำนวณที่ 8 รอบต่อภาพ จะสามารถสร้างภาพได้ 4 ภาพต่อวินาที
  • หลังจากได้ภาพที่ต้องการแล้ว จะรันซ้ำ 30-50 รอบเพื่อเก็บงานภาพให้สมบูรณ์

• GPU ของ AMD รองรับผ่าน DirectML แต่ใช้ได้เฉพาะบน Windows เท่านั้น

  • มีการแสดงความไม่พอใจกับแนวโน้มนี้
  • อีกทางเลือกหนึ่งคือใช้โปรเจ็กต์ที่อิงกับ Torch ชื่อ ComfyUI เป็นแบ็กเอนด์

• สิ่งที่ดีของ Krita และงานศิลปะคือใครก็ตามสามารถหารายได้จากศิลปะได้ หากมีเพียงเครื่องมือราคาถูกและอินเทอร์เน็ต

  • มีความกังวลว่าหากการ์ดจอราคาแพงกลายเป็นสิ่งจำเป็น ความเป็นประชาธิปไตยของงานศิลปะจะลดลงอย่างมาก

• หากคิดว่า AI จะสร้างงานศิลปะที่เป็นไปได้ทั้งหมดได้ภายในไม่กี่ปี การพยายามสร้างสรรค์เองก็ดูเหมือนจะไร้ความหมาย

  • แม้จะใช้งาน AI ได้เก่ง ก็ยังมีคำถามว่าจะยังรักษาอาชีพในฐานะผู้สร้างสรรค์ไว้ได้นานแค่ไหน
  • การสร้างสรรค์อาจยังสนุกในฐานะงานอดิเรก แต่ในฐานะอาชีพ เมื่อทุกคนสร้างงานศิลปะได้ การทำรายได้ก็จะยากขึ้น

• มีการแชร์ประสบการณ์ของบุคคลที่ทำงานสร้างสรรค์โดยใช้ทรัพยากรคอมพิวต์ประสิทธิภาพสูงที่ปัจจุบันใช้งานได้ฟรี

  • แม้จะมีความลำบากทางเศรษฐกิจ แต่ก็พบด้านบวกของการสร้างสรรค์ด้วย AI

• มีการแชร์ประสบการณ์การติดตั้งบน Ubuntu

  • ต้องติดตั้งและรัน Krita ก่อน จากนั้นจึงคัดลอกปลั๊กอินไปยังโฟลเดอร์ที่ต้องการ

• มีการชื่นชมว่าโอเพนซอร์สซอฟต์แวร์สามารถทำฟังก์ชันแบบเดียวกับ Adobe Photoshop ได้แล้ว

  • นั่นหมายความว่า Photoshop อาจสูญเสียตำแหน่งผูกขาดที่สร้างไว้กับเครื่องมือสร้างภาพด้วย AI

• แนะนำให้ใช้การ์ดจอที่แรงพอสมควร และต้องมี VRAM อย่างน้อย 6GB

  • มีคำถามว่าบนการ์ดที่มี VRAM 4GB เวลาสร้างภาพจะช้าลงมากเพียงใด

• มีผู้ใช้ที่แสดงความเสียดายว่าไม่มีฮาร์ดแวร์ที่จำเป็น

  • มีการถามว่ามีใครเคยรัน stable diffusion บน Steam Deck ได้สำเร็จหรือไม่ และแชร์ข้อมูลเกี่ยวกับทางเลือกอื่น

• มีคำถามว่าสามารถใช้งานร่วมกับ GPU หลายตัวได้หรือไม่