ประเด็นเด่นใน HN: Diffusion Mirror แบบแขวนผนังที่เปลี่ยนเงาสะท้อนให้เป็นภาพวาด

 (matthieulc.com)
1 คะแนน โดย GN⁺ 2024-10-24 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • PabloNet

  • ผมคิดว่าข้อถกเถียงว่า AI ที่เชื่อมต่อกับอินเทอร์เน็ตจะสามารถสร้างสรรค์ได้หรือไม่นั้นค่อนข้างห่างไกลจากประเด็นสำคัญ แก่นของศิลปะคือการเปิดเผยโลกภายในของมนุษย์ และเทคโนโลยีเป็นเพียงส่วนหนึ่งของสิ่งนั้นเท่านั้น เป็นเรื่องน่าเสียดายที่ศิลปะต้องพึ่งพาเทคโนโลยีมากเกินไป แต่ก็ดูเหมือนจะมีความเป็นไปได้ที่จะแยกสองสิ่งนี้ออกจากกันได้ ความคิดสร้างสรรค์เชิงสอดแทรกราคาถูกที่คนธรรมดาซึ่งไม่ใช่ศิลปินทั้ง 8 พันล้านคนใช้งาน อาจเปิดเผยโลกทัศน์แบบใหม่ได้

  • ด้วยเหตุนี้ ในฐานะคนที่ไม่มีพรสวรรค์ด้านศิลปะ ผมจึงสนใจรูปแบบศิลปะที่ขับเคลื่อนด้วย AI อย่างมาก ช่วงไม่กี่เดือนที่ผ่านมา ผมเริ่มทำงานกับการใช้ StreamDiffusion เพื่อกระจายภาพจากเว็บแคมแบบเรียลไทม์ โดยตั้งใจจะสร้างเอฟเฟกต์ภาพที่สวยงามและปลุกเร้าอารมณ์ใหม่ ๆ แต่รูปแบบที่เป็นแล็ปท็อปกลับทำลายภาพลวงตา ดังนั้นเมื่อไม่นานมานี้ ผมจึงสร้างเฟรม LCD ที่สามารถแขวนบนผนังได้ เพื่อให้มีองค์ประกอบที่ทำลายภาพลวงตาน้อยที่สุด ข้อดีใหญ่ที่สุดของการตั้งค่านี้คือ มันไม่ใช่แค่จอภาพธรรมดา แต่เป็นวัตถุถาวรที่เปิดช่องทางปฏิสัมพันธ์รูปแบบใหม่

  • ปัญหาหลักของการตั้งค่าปัจจุบันคืออัตราเฟรมที่ต่ำ แม้จะใช้ TensorRT และบีบอัดภาพเพื่อเพิ่มความเร็วแล้ว แต่ก็ยังมีพื้นที่ให้ปรับปรุงได้อีกมาก

  • สำหรับคนที่สนใจ ผมได้แชร์วิธีการประกอบและการมีส่วนร่วมไว้ดังนี้:

    • มีโค้ดทั้งฝั่งไคลเอนต์และเซิร์ฟเวอร์ให้
    • โฮสต์เซิร์ฟเวอร์ด้วย RunPod
    • ไคลเอนต์รันบน Raspberry Pi 5
    • ใช้หน้าจอ Pi ขนาด 10.1 นิ้ว
    • ใช้ไฟส่องสว่างอินฟราเรด
    • ใช้กรอบรูปทั่วไป
    • ใช้กล้อง Pi อินฟราเรด
    • ใช้ที่เจาะรูเพื่อเจาะช่องสำหรับกล้อง (สว่านใช้ไม่ได้)
    • ทดลองใช้ฟิลเตอร์พรีโปรเซสหลายแบบ เพราะใช้แค่พรอมป์ตอย่างเดียวไม่พอ img2img ดูสมจริงเกินไปหากไม่มีการพรีโปรเซส เพื่อให้ได้สไตล์แบบปิกัสโซสีน้ำเงินที่เห็นในโพสต์นี้ จึงใช้การผสมกันของการตรวจจับขอบแบบ Canny การย้อมสีน้ำเงิน และการเบลอ

สรุปโดย GN⁺

  • ศิลปะที่ขับเคลื่อนด้วย AI แสดงให้เห็นถึงความเป็นไปได้ในการแยกเทคโนโลยีออกจากความคิดสร้างสรรค์ เพื่อมอบมุมมองใหม่
  • การกระจายภาพจากเว็บแคมแบบเรียลไทม์ด้วย StreamDiffusion มอบอารมณ์และประสบการณ์ทางภาพรูปแบบใหม่
  • การติดตั้งด้วยเฟรม LCD เปิดความเป็นไปได้ที่ก้าวไกลกว่าจอภาพธรรมดา ไปสู่การเป็นงานศิลปะถาวร
  • ปัญหาทางเทคนิคอย่างอัตราเฟรมต่ำยังคงมีพื้นที่ให้ปรับปรุง
  • โปรเจ็กต์ที่มีความสามารถคล้ายกันและแนะนำให้ลอง ได้แก่ DeepArt.io และ RunwayML

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-10-24
ความคิดเห็นบน Hacker News

  • การเข้ารหัสไบต์ JPEG เป็น Base64 จะทำให้ขนาดเพย์โหลดเพิ่มขึ้นราว 30% และเปลือง CPU cycle ทั้งฝั่งไคลเอนต์และเซิร์ฟเวอร์ โปรโตคอล WebSocket สามารถส่งเพย์โหลดแบบไบนารีได้ จึงไม่จำเป็นต้องแปลงเป็นข้อความ

    • อาจพิจารณาตัดการบีบอัด JPG แบบสูญเสียข้อมูลออก แล้วส่งไบต์ RGB ดิบผ่านเครือข่ายแทน
    • StreamDiffusion สามารถทำเฟรมเรตสูงได้ด้วยการทำ batching อย่างกว้างขวางใน pipeline แต่ที่นี่กลับไม่ได้ประโยชน์เพราะไคลเอนต์ส่งได้ทีละเฟรมแล้วต้องรอการตอบกลับ
    • โมเดล SDXL Turbo และ Lightning ทำ img2img ได้เร็วมาก แต่ถูกจำกัดที่ความละเอียด 512² หรือ 1024² พิกเซล และสามารถรันแบบเรียลไทม์บน GPU สำหรับผู้บริโภคระดับสูงได้

  • ศิลปะคือการเปิดเผยโลกภายใน และเทคโนโลยีเป็นเพียงส่วนหนึ่งเท่านั้น จึงตั้งคำถามกับแนวคิดที่ว่าช่องว่างด้านทักษะเป็นเพียงความไม่สะดวกเล็กน้อย

    • การเรียนรู้การวาดภาพหรือแต่งเพลงน่าจะเปลี่ยนแปลงตัวเรา และสอนบทเรียนชีวิตที่ลึกซึ้งกว่า
    • งานศิลปะชั้นยอดไม่ได้ถูกสร้างขึ้นโดยอัจฉริยะ แต่ความอัจฉริยะมาเยือนอย่างไม่คาดคิด การลบช่องว่างด้านทักษะก็เท่ากับลบโอกาสแบบนั้นไป

  • ไม่ได้พูดถึงคุณค่าทางศิลปะ แต่ในฐานะคนชอบสะสมเครื่องมือก็มีจุดที่น่าสนใจ

    • ใช้ที่เจาะรูเพื่อเจาะรูบนแผ่นกระดาษแข็งของกรอบสำหรับกล้อง สว่านใช้ไม่ได้ผล
    • อยากได้รายละเอียดหรือคำอธิบายเพิ่มเติมว่าทำไมสว่านถึงใช้กับกระดาษแข็งไม่ได้

  • คิดว่าจะเจ๋งกว่านี้ถ้ากล้องอยู่ที่อื่นแทนที่จะอยู่ในกรอบ การมองกระจกเชิงศิลปะแบบนี้ค่อนข้างน่าเบื่อ

    • ทำกระจกบานที่สองไว้ในบ้านอีกคนหนึ่ง แล้วส่งภาพจากกล้องของกระจกหนึ่งไปยังอีกกระจก เพื่อให้เห็น 'ภาพสะท้อน' ของกันและกัน

  • คิดมาตลอดว่าศิลปะคือการเก็บรักษาและสร้างอารมณ์ กล้วยบนผนังก็เป็นศิลปะ และเพลงป๊อปก็ยังคงเป็นศิลปะ

    • สิ่งประดิษฐ์นี้เป็นงานศิลปะแน่นอน แต่คิดว่าผลลัพธ์ที่มันสร้างออกมาไม่ใช่ มันอาจสร้างรูปทรงได้หลากหลายเหมือนก้อนเมฆ แต่ก็ยังเป็นความสุ่มแบบเฉลี่ย ๆ อยู่ดี

  • ถามว่าเคยพิจารณาเอฟเฟกต์การแปรภาพระหว่างภาพที่เฟรมเรตสูงหรือไม่ เพราะมันน่าจะช่วยเพิ่มเฟรมเรตเชิงผลลัพธ์และดูเท่มาก

  • ปัญหาหลักของการตั้งค่าปัจจุบันคือเฟรมเรตต่ำ แต่มองว่านี่เป็นฟีเจอร์ และการมีเวลาให้ภาพถูกประมวลผลก็ไม่ใช่เรื่องแย่

    • เพิ่มช่วงการอัปเดตเป็นทุก 5-15 นาที และให้จับภาพพร้อมสร้างภาพใหม่ทุกครั้งที่ตรวจพบการเปลี่ยนแปลงหรือการเคลื่อนไหว

  • มอบรางวัลกระจกที่กินไฟมากที่สุด พบว่าภาพวาดไม่เสถียรเมื่ออินพุตเปลี่ยนไปเพียงเล็กน้อย

  • ถามว่ามีวิธีตรึงบางภาพไว้ได้หรือไม่ เพราะบางภาพถ้าเก็บไว้จะดูดีมาก (เช่น รูปโปรไฟล์หรือรูปหน้าจอล็อก)