Show HN: Fill 3D - 3D Generative Fill สำหรับการจัดฉากเสมือนจริงด้วย AI

 (github.com/fill3d)
1 คะแนน โดย GN⁺ 2023-09-30 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เป็นโปรเจกต์เริ่มต้นที่สาธิต Fill 3D API และเป็นตัวอย่างการใช้งาน 3D Generative Fill สำหรับการจัดฉากเสมือนจริงด้วย AI
  • ก่อนรัน ให้เปลี่ยน .env.example เป็น .env.local และใส่ API key ที่สร้างจาก fill3d.ai ลงใน FILL3D_API_KEY
  • ติดตั้ง dependencies และรัน development server ด้วย npm install และ npm run dev
  • หลังจากรัน development server แล้ว สามารถเปิดหน้าเว็บได้ที่ http://localhost:3000

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-09-30
ความคิดเห็นบน Hacker News

  • ตัวเทคโนโลยีเองน่าประทับใจ แต่ศักยภาพของมันก็น่าขนลุกอยู่ไม่น้อย
    แถวที่ผมอยู่ บรรดา ‘นายหน้า’ อสังหาฯ มักรีทัชรูปประกาศขายด้วย Photoshop ให้ดูเหมือนเป็น บ้านที่รีโนเวตใหม่ทั้งหลังและมีเฟอร์นิเจอร์ครบ กันอยู่แล้ว
    ในความเป็นจริง บ้านมักจะว่างเปล่าและสภาพแย่มาก ดังนั้นถ้ามีเทคโนโลยีแบบนี้ ก็คงยิ่งตัดสินสภาพอสังหาฯ ได้ยากขึ้นถ้าไม่ได้ไปดูด้วยตัวเอง
    ตอนนี้คงยากที่จะห้ามไม่ให้เทคโนโลยีแบบนี้ถูกใช้ในโฆษณา และรายการประกาศขายก็กลายเป็นโฆษณาไปโดยปริยายแล้ว ดังนั้น นโยบายหรือกฎหมายที่ห้ามอัปโหลดรูปปลอมลงแพลตฟอร์มอสังหาฯ ดูเหมือนจะเป็นทางออกเดียว
    แต่ผู้สร้างน่าจะทำเงินได้มาก ถ้าขายเทคโนโลยีนี้ให้เอเจนต์แบบ subscription model

    • ดูเหมือนว่าจะมีกฎหมายเกี่ยวกับการแสดงข้อมูลสินค้าที่ขายอย่างเป็นเท็จอยู่แล้ว
      การมีเฟอร์นิเจอร์รวมอยู่ด้วยหรือไม่เป็นส่วนที่ระบุไว้อย่างชัดเจนในสัญญา และคงแตกต่างกันไปตามพื้นที่ แต่สิ่งที่เห็นบ่อยที่สุดในพื้นที่ของเราคือการ ตัดต่อภาพพระอาทิตย์ตก ใส่ตรงหน้าต่างหรือภาพด้านหลังบ้าน
      แต่คงสังเกตได้ยากว่านายหน้าลบรอยเชื้อราหรือความเสียหายจากน้ำรั่วออกไปหรือเปล่า
    • การ staging ด้วย Photoshop มีมานานแล้ว

  • ตัวอย่างดูดีมาก อยากให้แชร์ภาพเพิ่มเติมได้
    อยากเห็นตัวอย่างเพิ่มเพื่อดูว่าเครื่องมือนี้จัดการได้ถึงแค่ไหน เช่น ห้องหลากหลายประเภทและสไตล์อินทีเรียร์ต่าง ๆ
    ในทางกลับกันก็อยากรู้เหมือนกันว่ามันทำอะไรไม่ได้บ้าง มีสถานการณ์ที่ผลลัพธ์พังหรือเปล่า

    • เป็นข้อเสนอแนะที่ดี พรุ่งนี้จะหาเวลาเพิ่มหน้า /gallery ดู
      สร้าง issue ไว้สำหรับติดตามแล้วด้วย: https://github.com/fill3d/fill/issues/1
      เป็น good first issue เลย :D

  • น่าทึ่ง วัตถุที่แทรกเข้าไปไม่ได้สร้างด้วย diffusion model + ControlNet แต่เป็นการเรนเดอร์ โมเดล 3D ที่ใส่ texture แล้ว ใช่ไหม?
    อยากรู้ด้วยว่าชุดโมเดล 3D พร้อม texture ที่ใช้ได้เป็นชุดตายตัว หรือสร้างขึ้นทันทีตาม prompt

    • ใช่แล้ว ตอนนี้ใช้ หน้าต่างสนทนาของ Blenderkit อยู่ แต่ขยายไปนอกนั้นได้ด้วย
      ตอนพิมพ์ prompt แล้วค้นหา จริง ๆ จะมีการค้นหาแบบ multimodal ทำงานอยู่ เช่น ถ้าขอ ‘red painting’ มันก็จะหารูปภาพสีแดงมาให้จริง ๆ
      เลยแม่นยำกว่าการค้นหาทั่วไปแบบเหลือเชื่อ ตอนนี้ AI กำลังเข้าไปอยู่ทุกที่

  • ถ้าผมใช้ น่าจะเอาไว้แต่งอพาร์ตเมนต์
    มีห้องสตูดิโอโล่ง ๆ ขนาดใหญ่ที่ซื้อเตียงกับโซฟาแล้ว แต่ต้องตัดสินใจว่าจะเติมอะไรในพื้นที่ว่างที่เหลือ
    เช่น โต๊ะกาแฟ คอนโซลมีเดีย ทีวีหรือโปรเจกเตอร์ ultra-short-throw บาร์ ชั้นหนังสือ โต๊ะทำงาน
    จะดีมากถ้าเติมด้วย สินค้าที่ซื้อได้จริง ไม่ใช่แค่คอนเซปต์ล้วน ๆ

    • ใช่แล้ว นี่เป็นฟีเจอร์ที่อยู่ใน roadmap จริง ๆ
      เพราะสร้างเป็น 3D ผู้ใช้จึงสามารถนำ โมเดล 3D ของตัวเองมาเพิ่มในแคตตาล็อกได้
      ถ้าต่อเข้ากับสิ่งอย่าง Object Capture ของ Apple (https://developer.apple.com/augmented-reality/object-capture...) ก็จะสแกนโซฟาตัวจริง อัปโหลดเข้า Fill 3D วางตำแหน่ง แล้วสร้างภาพได้
      น่าตื่นเต้นกับอนาคต
    • ยังไม่ได้ลองใช้ แต่เมื่อไม่กี่วันก่อนเห็นเว็บที่เหมาะกับ use case แบบนี้: https://aihomedesign.com
      ไม่ได้เกี่ยวข้องกับเว็บนั้นนะ

  • บริษัทอสังหาฯ เคยคิดไหมว่า จะปล่อยบ้านให้ว่างไม่มีเฟอร์นิเจอร์ แล้วให้ผู้ซื้อที่สนใจสวม แว่น AR เพื่อดูว่าถ้าวางเฟอร์นิเจอร์ของตัวเองแล้วจะออกมาเป็นอย่างไร?

    • แค่ใช้มือถือหรือแท็บเล็ตเป็น viewport ก็น่าจะได้
      อาจ immersive น้อยกว่า แต่ barrier to entry ต่ำกว่ามาก
    • ถ้าการเรนเดอร์เฟรมเดียวด้วย path tracing ใช้เวลามากกว่า 1 นาที ความสมจริงระดับนี้ดูจะยังเป็นไปไม่ได้ใน AR ตอนนี้

  • ใช้กับดาดฟ้าหรือระเบียงหน้าบ้านได้ไหม?
    มี รูปดาดฟ้าและระเบียงหน้าบ้าน ที่ต้องทำ staging สำหรับเว็บไซต์บริษัทก่อสร้าง

  • ลองเดโมแล้วเหมือนจะมีบั๊ก และดูเหมือนเลือกได้แค่ไอเท็มที่มีอยู่ในฐานข้อมูลที่กำหนดไว้ล่วงหน้า

    • อยากรู้ว่าเจอบั๊กอะไร
      และใช่แล้ว เพราะเราใช้โมเดล 3D จริง ชุดโมเดลจึงเป็นชุดตายตัว ตอนนี้มีน้อยกว่า 300 ชิ้นนิดหน่อย
      priority คือ ผลลัพธ์ที่สมจริงมาก ดังนั้นเทคโนโลยี diffusion สำหรับโมเดล 3D ล่าสุดในปัจจุบันยังไม่พอ ดู OpenAI Point-e: https://github.com/openai/point-e

  • พอเห็นสถาปัตยกรรมของ Fill3D ที่ ‘เรนเดอร์ผลลัพธ์สมจริงมากด้วย path tracing’ ควบคู่กับ ฟีเจอร์ deploy แบบโปร่งใส ของ fxn.ai แล้วน่าประทับใจจริง ๆ
    โปรเจกต์ปัจจุบันใช้ได้ทั้งสองอย่าง เลยตั้งใจจะลองดู

  • คิดเรื่อง business model ไว้อย่างไร?
    ผมเป็นผู้ดูแลระบบของ MLS ขนาดเล็ก กำลังคิดอยู่ว่าจะผสานเข้าไปตรงไหนได้บ้าง
    ถ้า staging ครั้งละ 2 ดอลลาร์ ก็คงต้องเรียกเก็บจาก Realtor โดยตรง ผมเข้าใจว่าเราไม่ได้ทำการเรียกเก็บเงินแทน
    แต่รูปแบบที่รวมจำนวน staging ต่อเดือนต่อ Realtor อาจเป็นไปได้
    ผมนึกถึง use case สนุก ๆ ที่ให้ผู้บริโภคลอง staging เองได้เหมือนกัน แต่คงมี Realtor ไม่กี่รายที่จะยอมจ่าย 2 ดอลลาร์ต่อ staging เพื่อให้ผู้บริโภคทำแบบนั้น

    • เรื่องนี้อยากคุยกันจริงจัง
      ถ้าเป็น ราคาสำหรับปริมาณมาก เราลดราคาได้ค่อนข้างมาก
      เป้าหมายสุดท้ายคือให้ผู้ใช้ staging ได้โดยตรงภายในเว็บไซต์อสังหาฯ หรือ MLS ของคุณ
      ติดต่อมาที่ yusuf@fill3d.ai ได้เลย

  • สกรีนแคสต์ บน https://www.fill3d.ai/ ทำด้วยอะไร?

    • น่าจะเป็น https://www.screen.studio
    • ผมก็สงสัยเหมือนกัน
      ช่วงหลังเห็น screencast สไตล์เดียวกันเยอะมาก แต่ไม่ค่อยชอบเท่าไร
      พื้นที่ที่บันทึกขยับไปมาตลอด ค่อนข้างรบกวนสมาธิ
    • Screen Studio