macOSPilot - CoPilot แบบเสียง+วิชันสำหรับ macOS

 (github.com/elfvingralf)
9 คะแนน โดย GN⁺ 2023-12-13 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ผู้ช่วย AI ที่ใช้ได้กับทุกแอปพลิเคชันบน macOS โดยใช้เสียงและวิชัน
  • กดคีย์ลัดแล้วถามด้วยเสียง จากนั้นระบบจะตอบกลับด้วยเสียงตามคอนเท็กซ์ปัจจุบัน
    • จับภาพหน้าจอของหน้าต่างปัจจุบันแล้วส่งไปให้ OpenAI GPT Vision
    • คำถามจะถูกถอดเสียงเป็นข้อความด้วย OpenAI Whisper API แล้วส่งไปพร้อมกัน
    • คำตอบข้อความที่ได้รับจะถูกแปลงเป็นเสียงด้วย OpenAI TTS แล้วส่งออกมา
  • พัฒนาด้วย NodeJS/Electron
  • คีย์ลัดเริ่มต้นคือ Cmd + Shift + '

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-13
ความคิดเห็นใน Hacker News

  • มีคำถามว่าควรใช้คำว่า "macOS" แทน "OSX" ในพรอมป์ต์จะดีกว่าหรือไม่ หรือว่าไม่ได้คิดมากกับสิ่งที่เลือกใช้ตอนแรก

    • ผู้โพสต์บอกว่าสงสัยเรื่องนี้หลังจากไล่ดูวิดีโอ
    • มีการให้ลิงก์โค้ดที่เกี่ยวข้อง

  • มีข้อเสนอให้เพิ่มตัวเลือกสตรีมข้อความแทน TTS

    • อาจลองพิจารณาใช้ข้อความแทนคำสั่งเสียงด้วย
    • ผู้แสดงความเห็นแชร์ประสบการณ์ที่ลองทำผู้ช่วยลักษณะคล้ายกันมานาน และชวนไปติดต่อกันใน Discord

  • มีการกล่าวว่าเคยเขียนสคริปต์คล้ายกันสำหรับการตั้งค่า Linux

    • เชื่อมกับคีย์ลัดคีย์บอร์ดของ XFCE
    • ระบุว่าไม่ได้ใช้สคริปต์บ่อยนัก

  • แนะนำให้ตั้งเพดานค่าใช้จ่ายเมื่อใช้ OpenAI API

    • เตือนว่าอาจได้รู้เร็วว่าค่าใช้จ่ายของโมเดลข้อความกับโมเดลวิชันต่างกันมาก
    • แล้วก็ประเมินในแง่บวกหลังตรวจดูว่าราคาใกล้เคียงกัน

  • มีเสียงตอบรับเชิงบวกต่อโปรเจกต์

    • บอกว่าภาพหน้าจอน่าจะช่วยให้ส่วนที่ชวนสับสนชัดเจนขึ้น
    • ถามว่ามีวิธีซ่อนหน้าต่างเมื่อไม่ได้ใช้งานหรือไม่

  • มีคำถามว่ามีแผนจะทำให้โปรเจกต์นี้ทำงานกับ local LLMs แทนที่จะเป็น "open"AI หรือไม่

  • มีความเห็นว่าอยากสร้างอะไรสักอย่างโดยผสานเข้ากับเทอร์มินัลโดยตรง

    • บอกว่าการหลีกเลี่ยงการใช้ภาพหน้าจอและทำงานจากในเทอร์มินัลตรง ๆ นั้นง่ายกว่า
    • มีตัวอย่างโค้ดรูปแบบการสั่งงาน AI จากเทอร์มินัล
    • บ่นว่าหาเวลาได้ยากท่ามกลางชีวิตประจำวันที่ยุ่งมาก

  • มีปฏิกิริยาในเชิงลบต่อข้อมูลที่ว่า "macOSpilot ใช้ NodeJS/Electron"

  • มีการแชร์ประสบการณ์ลองใช้ร่วมกับดิจิทัลออดิโอเวิร์กสเตชัน Ableton Live

    • ประเมินในเชิงบวกว่าใช้งานได้มีประโยชน์มากและน่าจะช่วยประหยัดเวลา
    • มีการให้ลิงก์วิดีโอการโต้ตอบ
    • ตั้งคำถามต่อคอมเมนต์เชิงลบ

  • มีการแชร์จินตนาการเรื่องประสิทธิภาพการทำงานระหว่างรอผลลัพธ์ของคำสั่ง ls