MemoryCache - โครงการของ Mozilla เพื่อเสริมพลัง Local AI บนเบราว์เซอร์

 (future.mozilla.org)
3 คะแนน โดย GN⁺ 2023-12-13 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • โครงการพัฒนาเชิงทดลองเพื่อเปลี่ยนสภาพแวดล้อมเดสก์ท็อปแบบโลคัลให้เป็นเอเจนต์ AI แบบ on-device
  • เสริมความสามารถให้โมเดลแบบ on-device ด้วยไฟล์โลคัลที่เก็บไว้ในเบราว์เซอร์ เพื่อมอบประสบการณ์ที่ปรับให้เหมาะกับแต่ละบุคคลมากยิ่งขึ้น
  • ปัจจุบัน MemoryCache เป็นชุดสคริปต์และเครื่องมือง่าย ๆ สำหรับเสริม local copy ของ privateGPT
    • ส่วนขยาย Firefox: ทำหน้าที่เป็น "เครื่องพิมพ์" แบบง่ายสำหรับบันทึกหน้าเว็บลงในไดเรกทอรีย่อยของโฟลเดอร์ /Downloads/ และมีฟังก์ชันสำหรับบันทึกโน้ตและข้อมูลจากเบราว์เซอร์ลงสู่คอมพิวเตอร์โลคัลได้อย่างรวดเร็ว
    • เชลล์สคริปต์: ตรวจจับการเปลี่ยนแปลงในไดเรกทอรี /Downloads/MemoryCache/ และรันสคริปต์ ingest.py ของ privateGPT
    • โค้ด Firefox SaveAsPDF API ที่ปรับแก้เพื่อให้สามารถบันทึกหน้าเว็บเป็น PDF โดยอัตโนมัติ ทำให้มนุษย์อ่านได้ง่ายขึ้น

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
ndrgrd 2023-12-14

ทุกอย่างก็ดีอยู่หรอก แต่หวังว่าจะไม่พยายามทำให้เบราว์เซอร์กลายเป็นร้านขายของเก่าจุกจิกไปเสียหมดอยู่เรื่อยนะ
คงมีบทเรียนที่ได้มาจาก internet suite ในอดีตอยู่แล้วนี่นา

เบราว์เซอร์ก็คือเบราว์เซอร์ AI ก็คือ AI ถ้าจำเป็นก็ค่อยแยกไปรันต่างหากก็พอ
 
GN⁺ 2023-12-13
ความคิดเห็นจาก Hacker News

  • เคยคุยกันเรื่องนี้ใน Reddit มาก่อน แทนที่จะส่งข้อมูลไปให้โมเดล เราควรให้โมเดลมาหาข้อมูลที่เก็บอยู่ในเครื่องของเราและอยู่ในเครื่องต่อไป ซอฟต์แวร์โอเพนซอร์สจำนวนมากโหลดข้อมูลส่วนตัวได้ แต่ยังจัดการรูปภาพหรือวิดีโอไม่ได้ ในอนาคตทุกคนน่าจะมีโมเดลของตัวเองได้ แต่ตอนนี้แม้เทคโนโลยีจะมีแล้ว ก็ยังขาดผลิตภัณฑ์/ซอฟต์แวร์โอเพนซอร์สที่ทำให้ทุกคนมี QLORA, RAG หรือเครื่องมือสรุปของตัวเองได้ ไม่ใช่แค่ข้อความ/เอกสารเท่านั้น แต่สิ่งที่เราอ่าน เขียน และคิด ก็สร้างความเป็นเอกลักษณ์ของแต่ละคนด้วย ประวัติการท่องเว็บของเราบอกอะไรได้มากมายเกี่ยวกับสิ่งที่เราอ่าน แต่แทบไม่มีใครนำมันไปใช้ นอกจาก Google ที่ใช้เพื่อโฆษณา แทบทุกคนมีนิสัยอ่านเว็บข่าวบางแห่ง โซเชียลเน็ตเวิร์กบางตัว วิดีโอ YouTube บางประเภท ฯลฯ ช่วยสรุปจากสามอย่างนี้ของวันนี้ให้หน่อย*

    • เป็นความเห็นว่าควรให้โมเดลเข้าถึงข้อมูลในเครื่องของผู้ใช้ แทนการส่งข้อมูลไปให้โมเดล
    • ปัจจุบันมีซอฟต์แวร์โอเพนซอร์สอยู่มาก แต่ยังขาดด้านการประมวลผลภาพและวิดีโอ
    • ความเป็นเอกลักษณ์ของแต่ละคนสะท้อนอยู่ในสิ่งที่อ่าน เขียน และคิด และยังมีการนำประวัติการท่องเว็บไปใช้ไม่มากนัก

  • Mozilla ถูกวิจารณ์อย่างมากจาก Firefox และการเทศนาทางการเมือง แต่ผมยังเชื่อว่าพวกเขายังมีความสามารถในการพัฒนาเทคโนโลยีที่คำนึงถึงความเป็นส่วนตัวและเป็นมิตรกับผู้ใช้ ผมใช้ตัวแปลออฟไลน์ที่ฝังมากับ FF บ่อยมาก และการที่มันรันได้บนเครื่องโดยไม่ต้องมี server park นั้นเหมือนเวทมนตร์เลย หวังว่าการทดลองนี้จะสำเร็จ*

    • เป็นความเห็นเชิงบวกว่่า Mozilla ยังคงมีความสามารถในการพัฒนาเทคโนโลยีที่คำนึงถึงความเป็นส่วนตัวและเป็นมิตรกับผู้ใช้
    • ชื่นชมความสามารถของตัวแปลออฟไลน์ใน Firefox ที่ทำงานบนเครื่องได้โดยตรง

  • สำหรับการใช้งานการท่องเว็บ เรื่องนี้ไม่เหมาะกับผม ผมไม่อยาก "คุย" กับประวัติการท่องเว็บ แต่อยากให้เบราว์เซอร์ช่วยทำดัชนีเนื้อหาจริงของบุ๊กมาร์กให้ค้นหาได้จากใน OS ผมคิดว่าวงจรฟีดแบ็กที่ได้จาก chatGPT น่าจะดีกว่าทางเลือก GPT แบบรันในเครื่องเสมอ อย่างไรก็ตาม การบุ๊กมาร์กหน้าเว็บที่มีข้อมูลสำคัญและย้อนกลับมาดูหลายครั้งนั้นมีคุณค่า ผมเลยเริ่มสร้างวิธีแก้สำหรับเรื่องนี้ โดย crawl บุ๊กมาร์กจากที่เก็บข้อมูลของเบราว์เซอร์ในเครื่อง ดาวน์โหลดหน้าเหล่านั้น และเพิ่มเข้าไปในดัชนีค้นหาของ OS นี่เป็นเรื่องที่ผมครุ่นคิดมาหลายปีแล้ว*

    • เป็นความเห็นจากผู้ใช้ที่ต้องการให้เบราว์เซอร์ทำดัชนีเนื้อหาของบุ๊กมาร์กใน OS
    • กำลังพัฒนาโซลูชันเพื่อให้บุ๊กมาร์กหน้าเว็บสำคัญและค้นหาได้ง่าย

  • ผมอยากได้วิธีที่จะ "คุย" กับประวัติการท่องเว็บและเนื้อหาของหน้าเว็บได้จริง ๆ มีวิธีเก็บหน้าที่เคยเข้าไว้โดยอัตโนมัติเพื่อประมวลผลทีหลังไหม? ผมหามานานกว่า 10 ปีแล้ว แต่ยังไม่เจอวิธีที่ดี*

    • สนใจวิธีจัดการประวัติการท่องเว็บและเนื้อหาหน้าเว็บเพื่อนำไปประมวลผลภายหลัง

  • ตรงนี้อาจมีอะไรบางอย่างได้ ใช้โมเดลขนาดเล็กที่รันในเครื่องและเคารพความเป็นส่วนตัวมากกว่ามาก แทนการวิ่งไปกลับกับบริษัทยักษ์ใหญ่และทำให้พวกเขาร่ำรวยขึ้นทุกครั้งที่พิมพ์พรอมป์ต์ ผมยินดีจะร่วมพัฒนาโอเพนซอร์สหรือแม้แต่สนับสนุนเงินให้กับโมเดลการดำเนินงานแบบนี้ แม้จะไม่ใช่แฟนตัวยงขององค์กร Mozilla แต่ผมชอบเชียร์ผู้ท้าชิงรอง*

    • สนับสนุนการใช้โมเดลขนาดเล็กที่รันในเครื่องและเคารพความเป็นส่วนตัว
    • ยินดีมีส่วนร่วมหรือสนับสนุนเงินให้กับโมเดลการดำเนินงานนี้

  • บุ๊กมาร์กแบบเดิมล้มเหลวเพราะเป็นวิธีจัดระเบียบที่พึ่งพาความจำและไม่ขยายตัว อินเทอร์เฟซแบบนี้ขยายได้ และถ้าทำได้ถูกต้องก็อาจมาแทนที่ทั้งหมดได้ เมื่อคิดดูแล้ว สิ่งนี้ยังใช้กับไฟล์ทั้งหมดในเครื่องได้ด้วย และอาจทำหน้าที่เป็นเวอร์ชันที่ดีกว่าของแนวคิด file system-database หรืออาจใช้กับฐานความรู้เฉพาะทางบางอย่างได้ด้วย (เช่น Zotero ที่ใช้ LLM)*

    • เป็นความเห็นเกี่ยวกับปัญหาการขยายตัวของบุ๊กมาร์กและศักยภาพของอินเทอร์เฟซใหม่ที่จะเข้ามาแทน
    • อินเทอร์เฟซนี้อาจนำไปใช้กับไฟล์ในเครื่องหรือฐานความรู้เฉพาะทางได้

  • ลิงก์ไปยังคลังเก็บ PrivateGPT สำหรับคนที่สนใจ: https://github.com/imartinez/privateGPT. ดูเหมือนว่าจะไม่ได้ลิงก์ไว้จากเว็บไซต์ทางการ*

    • แชร์ข้อมูลเกี่ยวกับคลังเก็บ PrivateGPT

  • ในฐานะอดีตเด็กฝึกงานที่เคยผ่านยุค Firefox OS มา เรื่องนี้ทำให้ผมรู้สึกว่า Mozilla อาจกลับเข้าสู่การทำ OS ของตัวเองอีกครั้งในอนาคต อินเทอร์เน็ตถือกำเนิดขึ้นมาเพื่อเชื่อมโยงผู้คน แต่การรวมฟีเจอร์เจ๋ง ๆ ทุกอย่างไว้ในเบราว์เซอร์อาจไม่ใช่วิธีที่ดีที่สุด Firefox OS โดยพื้นฐานแล้วคือ Gecko และการเรนเดอร์ HTML5 บนเคอร์เนลลินุกซ์ขนาดเล็ก เหมือนกับ iOS และ iPadOS Mozilla ก็อาจนำเสนอ OS ลักษณะคล้ายกันสำหรับอุปกรณ์/แพลตฟอร์มได้ พวกเขาลงทุนใน AR และ VR มาตลอด 5 ปีที่ผ่านมา ดังนั้นถ้าสุดท้ายพวกเขาจะเดิมพันกับ Firefox OS แบบใหม่อีกตัว ผมก็คงไม่แปลกใจ*

    • เป็นการคาดเดาว่า Mozilla อาจกลับมาให้บริการ OS ของตัวเองอีกครั้งในอนาคต

  • คุณตั้งใจจะลิงก์ไปยังคลังเก็บที่ถูก fork หรือเปล่า? https://memorycache.ai/developer-blog/2023/11/30/we-have-a-website.html ลิงก์ไปที่ https://github.com/misslivirose/Memory-Cache แต่คุณหมายถึง https://github.com/Mozilla-Ocho/Memory-Cache ใช่ไหม?*

    • คำถามเกี่ยวกับลิงก์คลังเก็บ GitHub เฉพาะรายการ

  • ผมทำแบบนี้มานานแล้ว โซลูชันของ FF แค่ทำให้มันเป็นอัตโนมัติมากขึ้นเท่านั้น

    • แชร์ประสบการณ์ส่วนตัวเกี่ยวกับโซลูชันของ Firefox