HN เผยแพร่: ดิจิทัลสไตลัสโอเพนซอร์สที่รองรับ 6DoF

 (github.com/Jcparkyn)
1 คะแนน โดย GN⁺ 2023-11-13 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

D-POINT: ปากกาดิจิทัลที่ใช้การติดตามแบบออปติคัล-อินเนอร์เชียล

  • D-POINT คือดิจิทัลสไตลัสโอเพนซอร์สที่ใช้การติดตามด้วยกล้องและการวัดแบบอินเนอร์เชียลเพื่อให้รองรับอินพุตแบบ 6DoF (6 ระดับอิสระ)
  • ให้ความหน่วงต่ำ รองรับการตรวจจับแรงกด และความแม่นยำระดับต่ำกว่ามิลลิเมตร ใช้งานได้บนทุกพื้นผิวเรียบ และเข้ากันได้กับเว็บแคมสำหรับผู้บริโภค
  • โปรเจ็กต์นี้เป็นส่วนหนึ่งของวิทยานิพนธ์จบการศึกษาระดับปริญญาตรีด้านวิศวกรรมไฟฟ้า และผู้พัฒนาหวังว่าการเปิดซอร์สโค้ดและไฟล์ออกแบบจะเป็นประโยชน์ต่อผู้อื่น

การออกแบบ

  • ชิ้นส่วนหลักของสไตลัสผลิตด้วยการพิมพ์ 3D และประกอบด้วยเซนเซอร์วัดแรง แบตเตอรี่ลิเธียมไอออนที่ชาร์จผ่าน USB-C และบอร์ดพัฒนาบนพื้นฐาน Arduino สำหรับ Bluetooth และลอจิก
  • มีการติดตั้งมาร์กเกอร์ ArUco ที่พิมพ์ไว้ 8 ชิ้นที่ด้านหลังของสไตลัสเพื่อใช้ในการประมาณท่าทางเชิงภาพ

การประมาณท่าทางเชิงภาพ (VPE)

  • กระบวนการ VPE ดำเนินไปใน 4 ขั้นตอนหลัก:
    1. การตรวจจับมาร์กเกอร์: ใช้ OpenCV เพื่อตรวจจับมุมของมาร์กเกอร์ ArUco แต่ละตัวบนสไตลัส
    2. การชดเชย rolling shutter: ใช้โมเดลการเคลื่อนไหวแบบ 2D อย่างง่ายเพื่อประมาณและแก้ไขผลกระทบของ rolling shutter ที่มีต่อตำแหน่งมุมที่สังเกตได้
    3. Perspective-n-Point (PnP): ใช้อัลกอริทึม PnP กับตำแหน่งมุมเหล่านี้เพื่อประมาณท่าทางของสไตลัสเทียบกับกล้อง
    4. การแปลงพิกัด: ใช้ท่าทางของสไตลัสที่ผ่านการคาลิเบรตเทียบกับกล้องและพื้นผิวสำหรับการวาด เพื่อคำนวณตำแหน่งและทิศทางของปลายสไตลัสเทียบกับพื้นผิวสำหรับการวาด

การหลอมรวมข้อมูลอินเนอร์เชียล

  • ใช้ Extended Kalman Filter (EKF) เพื่อหลอมรวมค่าประมาณจาก VPE เข้ากับข้อมูลอินเนอร์เชียลจาก accelerometer และ gyroscope และใช้อัลกอริทึม Rauch-Tung-Striebel (RTS) เพื่อปรับค่าประมาณให้ละเอียดขึ้นแบบเรียลไทม์
  • ใช้อัลกอริทึม negative-time measurement update เพื่อคำนึงถึงความหน่วงเวลาของเฟรมจากกล้อง
  • EKF ถูกนำไปใช้งานด้วย NumPy และ Numba และการใช้การวัดแบบอินเนอร์เชียลช่วยลดความหน่วงได้อย่างมากเมื่อเทียบกับการใช้กล้องเพียงอย่างเดียว พร้อมทั้งเพิ่มความแม่นยำและอัตราการรายงานสำหรับการเคลื่อนไหวที่รวดเร็ว

ความเห็นของ GN⁺

  • D-POINT แสดงให้เห็นถึงความเป็นไปได้ใหม่ของดิจิทัลสไตลัสผ่านเทคโนโลยีขั้นสูงและการออกแบบที่ล้ำสมัย
  • การเปิดให้เป็นโอเพนซอร์สช่วยเปิดโอกาสให้ผู้ที่สนใจเทคโนโลยีสามารถนำไปใช้และปรับปรุงต่อได้อย่างอิสระ
  • เทคโนโลยีนี้เข้ากันได้กับเว็บแคมสำหรับผู้บริโภคและใช้งานได้บนทุกพื้นผิวเรียบ จึงอาจมีบทบาทสำคัญในการยกระดับประสบการณ์ผู้ใช้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-13
ความเห็นจาก Hacker News

  • ความทึ่งต่อโปรเจกต์

    "เป็นโปรเจกต์ที่เจ๋งมาก เขาทำสิ่งที่ผมเคยนึกภาพไว้ให้กลายเป็นจริง ตอนเล่นเกม 'Elite: Dangerous' ผมใช้ HOTAS (คันเร่งและจอยสติ๊กที่ควบคุมด้วยมือ) กับแป้นเหยียบ และคิดว่าน่าจะมีวิธีบังคับยานอวกาศได้ดีกว่านี้ สิ่งที่ผมอยากได้คือขยับโมเดลยานอวกาศที่ถืออยู่ในมือ แล้วให้ยานในเกมขยับตามแบบเดียวกัน โปรเจกต์นี้ดูเหมือนจะทำสิ่งนั้นให้เป็นไปได้ ส่วนแรงขับก็น่าจะควบคุมด้วยอีกมือในลักษณะคล้ายกันได้ อินพุตรูปแบบใหม่หรือแปลกแบบนี้น่าทึ่งจริง ๆ และความสามารถแบบนี้เปิดพื้นที่ให้จินตนาการได้เต็มที่"

  • คุณค่าทางวิชาการของโปรเจกต์

    "โปรเจกต์นี้เป็นส่วนหนึ่งของวิทยานิพนธ์จบปริญญาตรีสาขาวิศวกรรมไฟฟ้า ของนักศึกษาปริญญาตรีนะ! ถ้าโปรเจกต์นี้ไม่ได้คะแนนเต็มก็ไม่มีความยุติธรรมแล้ว"

  • ข้อคิดที่น่าสนใจเกี่ยวกับอนาคตของเว็บแคม

    "การใช้เว็บแคมนี่น่าสนใจดี ผมสงสัยว่าอนาคตจะมาถึงไหมที่เว็บแคม FOV เดี่ยวแบบเดิมราว ~78° จะถูกแทนที่ด้วยเว็บแคมตาปลาคู่ (สเตอริโอ) เว็บแคมแบบนี้จะเปิดทางให้กับ UX แบบใหม่ ๆ (รวมถึง gesture ที่ติดตามการเคลื่อนไหวของดวงตา) ทำให้เกิดการโต้ตอบกับอุปกรณ์ต่อพ่วงรูปแบบใหม่ (อย่างสไตลัสนี้ หรือพวงมาลัยสำหรับเกมแข่งรถ) และทำให้การถ่ายภาพ 3D 180° สำหรับการประชุมผ่านเว็บแคมที่ยืดหยุ่นกว่ามากเป็นไปได้ รวมถึงการมีตัวตนใน VR ด้วย แนวคิดที่ว่าเราจะใช้พื้นที่ 3D ทั้งหมดหน้าจอคอมพิวเตอร์เป็นวิธีป้อนข้อมูลกำลังใกล้เข้ามา และการใช้เว็บแคมในลักษณะนี้ก็ให้ความรู้สึกเหมือนเป็นอีกก้าวหนึ่งไปในทิศทางนั้น"

  • การรับรู้ถึงเทคนิคชดเชย rolling shutter

    "การชดเชย rolling shutter นี่เจ๋งมาก และผมก็สงสัยว่าคุณรู้ตั้งแต่แรกไหมว่ามันจะเป็นปัญหา หรือเพิ่งมารู้หลังจากสร้างระบบเสร็จแล้ว"

  • แนวทางสร้างสรรค์ต่ออุปกรณ์ป้อนข้อมูล

    "ผมประทับใจเป็นพิเศษกับการผสานเทคโนโลยี ระหว่างที่สำรวจ 'คีย์บอร์ดแล็ปท็อป... รูปทรงมือ, สไตลัส 3D, ทัช' ก็มีความคิดบางอย่างผุดขึ้นมา ถ้าเพิ่มปุ่มเข้าไป มันก็อาจกลายเป็นเมาส์ 3D ได้ แต่การครอบคลุมของกล้องอาจเป็นปัญหา ตัวเครื่องแล็ปท็อปส่วนใหญ่ข้างในว่างอยู่มาก (แม้แต่แบตเตอรี่ก็ทำให้บางลงได้) และก็น่าจะพิมพ์โดยถือสไตลัสที่มีมาร์กเกอร์ได้ด้วย ปลายขนาดใหญ่สามารถเลื่อนไปบนคีย์บอร์ด ThinkPad ได้อย่างนุ่มนวล และยังมีพื้นที่สำหรับเซ็นเซอร์แรงแบบที่ไม่ต้องหนาแน่นมากกับมาร์กเกอร์เพิ่มที่ปลาย สายริบบอนซิลิโคนแบบบางอาจยืดหยุ่นได้มาก และผมก็แค่ต่อสไตลัสเข้ากับ Arduino ได้เลย อีกอย่าง ผมก็สงสัยว่าเซ็นเซอร์เฉื่อยจะตรวจจับอะไรอย่างตัวคลิกเกอร์โลหะได้อย่างไร"

  • ความหลงใหลในคอนโทรลเลอร์ 6DOF(6 องศาอิสระ) และคำชมด้านซอฟต์แวร์ของโปรเจกต์

    "ผมชอบ 6DOF มาก! งานด้านฮาร์ดแวร์และ computer vision pose นั้นยอดเยี่ยม แต่เกือบจะน่าประทับใจกว่าคือการวาดพื้นผิวซอฟต์แวร์ที่หมุนได้ สิ่งนี้สามารถนำไปใช้ร่วมกับการควบคุม physical user interface บางรูปแบบได้ และอาจเป็นอะไรอย่างฟิงเกอร์สไลเดอร์เพื่อให้ได้ผลลัพธ์เดียวกัน ดูเป็นโปรเจกต์ที่ดีมากสำหรับฝึกทักษะการแก้ปัญหา ทำได้ดีมาก bravo!"

  • ความทึ่งต่อโปรเจกต์และตัวอย่างการใช้ Kalman filter ในโลกจริง

    "เป็นโปรเจกต์ที่เจ๋งมาก เอกสารประกอบก็มีประโยชน์ เป็นตัวอย่างการใช้ Kalman filter ในโลกจริงที่ดีมาก!"

  • ความทึ่งต่อโปรเจกต์และความอยากสร้างเอง

    "เป็นโปรเจกต์ที่น่าประทับใจมาก! ผมชอบมาก อยากลองสร้างเองสักครั้งจริง ๆ"

  • ศักยภาพในการประยุกต์ใช้กับหุ่นยนต์/VR และคำถามเชิงเทคนิค

    "เจ๋งมาก! น่าจะมีประโยชน์กับงานหุ่นยนต์/VR ด้วย แล้วการติดตามมือข้างเดียวด้วยเว็บแคมล่ะ? คำถาม: ใช้ไจโร+มาตรวัดความเร่งเพื่อติดตามแรงกดได้ไหม? อย่างน้อยระดับ 'แตะ' ก็ยังดี? อีกคำถาม: ต้นทุนเท่าไร? โดยเฉพาะต้นทุนของเซ็นเซอร์แรงกด?"

  • ความสงสัยต่อการติดตามจากภายนอกด้วยกล้องและความเสียดายต่อเทคโนโลยีนี้

    "การติดตามจากภายนอกด้วยกล้องเป็นไอเดียที่เจ๋งมากแบบที่ผมไม่เคยนึกถึงมาก่อน น่าเสียดายที่ไม่มีงานดี ๆ ที่โคลนเทคโนโลยี lighthouse ที่ Valve/HTC ใช้ได้ในราคาถูก"