LLaVaVision - เว็บแอป "Be My Eyes" ที่สร้างด้วย llama.cpp/llava
(github.com/lxe)- จำลองบริการ "Be My Eyes" ด้วย AI ในลักษณะคล้ายกัน โดยเชื่อมต่ออาสาสมัครเพื่อช่วยอ่านหน้าจอให้ผู้พิการทางสายตา
- เว็บแอปที่ใช้แบ็กเอนด์แบบมัลติโหมดเพื่อตรวจดูวิดีโอและอธิบายว่าเป็นอะไรแบบเรียลไทม์
- รันโมเดลมัลติโหมดโอเพนซอร์ส BakLLaVA-1 ของ SkunkworksAI ด้วย llama.cpp และใช้ Web Speech API สำหรับเสียงพูด
4 ความคิดเห็น
ว้าว พอเห็นอะไรแบบนี้ก็รู้สึกภูมิใจที่เป็นวิศวกรจริง ๆ น่าจะช่วยผู้พิการทางสายตาได้มากเลยนะครับ
ยังมีแอปชื่อ 'Sullivan Plus' ที่ยูทูบเบอร์ OneShotHansol ใช้อยู่ด้วยครับ
ดูเหมือนว่าจะไม่ใช่แค่รู้จำข้อความ แต่ยังจับลักษณะของวัตถุได้ด้วย
https://youtu.be/EAKGU-uW6Ek
https://www.mysullivan.org/
Be My Eyes - มอบการมองเห็นให้แก่ผู้พิการทางสายตา
AI สร้างคำบรรยายภาพของ MS เริ่มบรรยายภาพได้เหมือนมนุษย์
ข่าวแบบนี้น่ายินดีมากจริง ๆ ครับ 555 เพราะลูกสาวของผมเป็นผู้พิการทางสายตาครับ