Windrecorder - แอป Windows โอเพนซอร์สที่สามารถย้อนกลับและค้นหาทุกสิ่งบนหน้าจอได้

 (tonoko.notion.site)
11 คะแนน โดย GN⁺ 2024-04-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • บางครั้งเมื่อพยายามนึกสิ่งที่เคยอ่านหรือเคยเห็นก่อนหน้านี้ขึ้นมา ก็อาจหาไม่เจอแม้จะไล่เปิดทุกแอปแล้วก็ตาม
  • โดยเฉพาะข้อมูลที่กระจัดกระจายอยู่ตามเว็บเพจหลายหน้า วิดีโอ ข้อความแชต ฯลฯ มักโผล่มาเพียงชั่วครู่แล้วหายไป ทำให้ต่อให้พยายามไล่ย้อนความจำหรือค้นประวัติเบราว์เซอร์ ก็ยังรู้สึกเหมือนมันไม่เคยมีอยู่จริง
  • ที่แย่กว่านั้นคือ ข้อมูลเหล่านั้นอาจถูกลบ ถูกซ่อน หรือถูกแก้ไขไปแล้วก็ได้

แรงบันดาลใจในการพัฒนาแอปเก็บความทรงจำส่วนตัว

  • ในฐานะคนที่ความจำไม่ค่อยดีและกลัวพลาดสิ่งสำคัญ (FOMO) จึงได้พัฒนาแอปนี้สำหรับ Windows ขึ้นมา
  • แรงบันดาลใจหลักมาจากแนวคิดช่วงแรกของแอป Mac อย่าง Rewind และ Black Mirror S1E3 "The Entire History of You"
    • เป้าหมายคือทำให้ตัวละครสามารถบันทึกทุกอย่างที่เห็นด้วยตา และย้อนกลับหรือค้นหาทุกสิ่งที่เคยปรากฏบนหน้าจอคอมพิวเตอร์ได้
  • แอปนี้ยังมอบประโยชน์เพิ่มเติมอีกหลายอย่าง
    • ความทรงจำส่วนตัวแบบเปลี่ยนแปลงไม่ได้ที่เก็บไว้ในเครื่อง
    • ไม่มีความเสี่ยงที่จะทำเบาะแสความทรงจำหาย
    • กู้คืนงานได้เมื่อซอฟต์แวร์ล้มเหลว
    • ติดตามที่มาของข้อมูลที่ดาวน์โหลดมาได้
    • ค้นพบข้อมูลที่เคยมองข้ามในอดีตได้
    • (สำหรับผู้พัฒนาเอง มันกลายเป็นเครื่องมือไว้แกล้งเพื่อน)

วิธีการทำงานของแอป

  • ใช้ ffmpeg บันทึกหน้าจอเป็นไฟล์ชิ้นเล็ก ๆ ช่วงละ 15 นาที แล้วทำดัชนีด้วย Windows local OCR API และ image embedding
  • ผู้ใช้สามารถเลือกไม่บันทึกบางโปรแกรมหรือบางพื้นที่ของหน้าจอได้
  • ทั้งหมดนี้สามารถย้อนกลับหรือค้นหาได้ผ่านอินเทอร์เฟซ local web UI (เช่น ชื่อหน้าต่าง คีย์เวิร์ดข้อความ คำอธิบายรูปภาพ ฯลฯ)
  • ยังมีการเพิ่มฟังก์ชันสรุปภาพรวม เช่น เวลาใช้งานหน้าจอรายวันและตามช่วงเวลา สรุปรายวันตามวงจร และการสร้าง monthly lightbox

ความเป็นส่วนตัวและโอเพนซอร์ส

  • เนื่องจากให้ความสำคัญกับความเป็นส่วนตัว ทุกอย่างจึงทำงานอยู่บนคอมพิวเตอร์เท่านั้น และไม่มีการเก็บอะไรไว้บนคลาวด์
  • ทุกอย่างพัฒนาอย่างโปร่งใสด้วย Python และผู้ใช้สามารถแก้ไขเองได้ง่าย (แม้อาจแลกกับประสิทธิภาพที่ช้าลงบ้าง)
  • ใช้งานได้ฟรี ไม่มีค่าสมาชิกรายเดือน และข้อมูลเป็นของผู้ใช้เอง

สถานะปัจจุบันของโปรเจกต์และแผนในอนาคต

  • เนื่องจากผู้พัฒนาไม่ใช่นักพัฒนามืออาชีพ และสร้างมันขึ้นมาจากความสนใจส่วนตัวรวมถึงความต้องการใช้งานของตัวเอง จึงอาจยังไม่สมบูรณ์แบบและอาจมีปัญหาบางอย่างอยู่
  • อย่างไรก็ตาม หลังจากใช้งานมาระยะหนึ่ง ก็คิดว่ามันอยู่ในระดับที่พัฒนาเต็มที่และเสถียรแล้ว
  • หากสนใจโปรเจกต์นี้ ก็ยินดีให้เข้าร่วมพูดคุย แจ้งปัญหา หรือร่วมพัฒนาเพื่อทำให้มันเป็นแอปที่ดียิ่งขึ้น
  • (ยังไม่แน่ใจว่ามีแอปคล้ายกันบน Windows อยู่แล้วหรือไม่ แต่ทราบว่า Linux มีแอปอย่าง Memento หากรู้จักตัวอื่นก็ช่วยบอกกันได้)

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-04-22
ความคิดเห็นใน Hacker News

สรุปโปรเจกต์ DejaView:

  • เป็นโปรเจกต์ที่พัฒนาขึ้นเมื่อ 20 ปีก่อน โดยมีความสามารถในการบันทึก เล่นซ้ำ ค้นหา และกลับมาทำงานต่อจากประวัติการใช้งานคอมพิวเตอร์เดสก์ท็อป
  • บันทึกเอาต์พุตหน้าจอ สถานะของแอปพลิเคชัน/ไฟล์ซิสเต็มเป็น checkpoint และจับข้อความที่แสดงอยู่พร้อมข้อมูลบริบทเพื่อนำมาทำดัชนี
  • ผู้ใช้สามารถค้นหาข้อมูลภาพทั้งหมดที่เคยแสดงบนเดสก์ท็อป และย้อนกลับไปยังสถานะ ณ เวลานั้นเพื่อโต้ตอบต่อได้
  • ทำงานอย่างโปร่งใสผ่าน virtualization โดยไม่ต้องแก้ไขแอปพลิเคชัน ระบบ Windows หรือ OS kernel
  • จากผลการประเมินบนแอปเดสก์ท็อปจริง สามารถบันทึกต่อเนื่องได้ด้วย overhead ต่ำจนผู้ใช้แทบไม่สังเกตเห็น และค้นหา/เล่นซ้ำได้เร็วพอสำหรับการใช้งานแบบโต้ตอบ

โปรเจกต์ที่คล้ายกัน:

  • มีโปรเจกต์โอเพนซอร์สสำหรับ macOS ชื่อ rem ที่เคยถูกนำเสนอใน HN และมีการถกเถียงกันอย่างคึกคัก
  • ยังมีโปรเจกต์เชิงพาณิชย์สำหรับ Windows ชื่อ TimeSnapper ด้วย

ความคิดเห็นต่อโปรเจกต์:

  • เป็นไอเดียที่คิดไว้มานานมาก พอเห็นว่ามีคนทำออกมาจริงก็รู้สึกประทับใจมาก
  • แต่ก็ดูมีความเสี่ยงด้านความปลอดภัยของข้อมูลสูงมาก จำเป็นต้องคิดต่อว่าจะป้องกันพฤติกรรมไม่ประสงค์ดีจากตัวแอปเองได้อย่างไร
  • ถ้าใช้ accessibility API แทน OCR ก็จะดึงข้อความได้โดยตรงและมีประสิทธิภาพกว่ามาก น่าจะเป็นวิธีที่ดีสำหรับเชื่อม LLM เข้ากับ UI และเก็บข้อมูลสำหรับการฝึกด้วย

ตัวอย่างโปรเจกต์คล้ายกันในอดีต:

  • ในปี 2014 Savant Recall ไม่ผ่านการคัดเลือกของ YC และถูกปล่อยเป็นโอเพนซอร์ส
  • ต่อมาผู้ร่วมก่อตั้ง Napster เข้าซื้อกิจการ เปลี่ยนชื่อเป็น Atlas Recall ปรับปรุง UI และระดมทุนได้ 20 ล้านดอลลาร์ แต่เพียง 1 ปีก็ถูก Xinova ซื้อกิจการและปิดบริการอย่างกะทันหัน
  • ในปี 2019 ก็มีโปรเจกต์ชื่อ Apse ด้วย

อื่น ๆ:

  • ตามคำอธิบายใน GitHub คาดว่าปริมาณข้อมูลบันทึกต่อปีจะอยู่ที่ราว 100-200GB ซึ่งถือว่าไม่เลว
  • ขอแสดงความยินดีกับการนำไอเดียใหม่มาทำออกมาได้ดี เป็นแรงบันดาลใจให้ทุกคนที่เคยคิดว่า "ทำไมถึงไม่มีแอปแบบนี้"
  • ดูคล้ายกับ Apse.io ที่ใช้ OCR สร้างดัชนีให้ทุกอย่างที่แสดงบนหน้าจอค้นหาได้ และชอบที่ Windrecorder เป็นโอเพนซอร์ส
  • น่าจะขายให้บริษัทใหญ่ที่อยากติดตั้งสปายแวร์บนเครื่องพนักงานได้ง่าย ๆ ในราคา $5 ต่อที่นั่ง