MemoryCache: โปรเจกต์ของ Mozilla ที่มุ่งเสริมพลัง AI แบบโลคัลบนเบราว์เซอร์

• เนื้อหาที่ให้มาเป็นเนื้อหาของ หน้าแรก Mozilla New Products และไม่มีเนื้อหาแนะนำ MemoryCache ตามหัวข้อใน Hacker News
• Mozilla New Products เป็นพื้นที่สำหรับค้นพบ ทดสอบ และสำรวจผลิตภัณฑ์ใหม่ ๆ พร้อมเชิญชวนผู้ใช้ให้มีส่วนร่วมในการกำหนด เทคโนโลยีรุ่นถัดไป
• ผลิตภัณฑ์ที่ตรวจสอบได้ในปัจจุบันคือ Solo สำหรับสร้างเว็บไซต์, 0din บั๊กบาวน์ตีด้านความปลอดภัย AI และ Tabstack API สำหรับการรันเว็บและแปลงข้อมูลสำหรับระบบ AI
• จดหมายข่าวให้ช่องทางสำหรับ การเข้าถึงล่วงหน้า ผลิตภัณฑ์และฟีเจอร์ล่าสุดของ Mozilla การสำรวจอัปเดต และการแชร์ความคิดเห็น
• จากเนื้อหานี้เพียงอย่างเดียว ไม่สามารถตรวจสอบโครงสร้างของ MemoryCache วิธีเสริมพลัง AI แบบโลคัลบนเบราว์เซอร์ วิธีใช้งาน หรือข้อจำกัดได้

---

เนื้อหาที่ให้มาเป็นหน้าแรก Mozilla New Products

• Mozilla New Products ถูกนำเสนอว่าเป็นพื้นที่สำหรับค้นพบ ทดสอบ และสำรวจ ผลิตภัณฑ์นวัตกรรม ที่ช่วยเพิ่มประสิทธิภาพการทำงาน ขยายธุรกิจ และสร้างผลิตภัณฑ์
• Mozilla สร้างโซลูชันที่ให้ความสำคัญกับผู้คนเป็นอันดับแรก และเชิญชวนผู้ใช้ให้เข้าร่วมทดสอบผลิตภัณฑ์ใหม่เพื่อร่วมกันกำหนด เทคโนโลยีรุ่นถัดไป
• ชูทิศทางว่าอนาคตของอินเทอร์เน็ตควรเปิดกว้าง เข้าถึงได้ และให้ความสำคัญกับ ความเป็นส่วนตัวเป็นอันดับแรก

ผลิตภัณฑ์และช่องทางเข้าร่วมที่ตรวจสอบได้

• Solo: ผลิตภัณฑ์ที่ช่วยสร้างเว็บไซต์ฟรีและเชื่อมต่อ โดเมนแบบกำหนดเอง ได้
• 0din: โปรแกรม บั๊กบาวน์ตีด้านความปลอดภัย AI ที่ให้รางวัลสำหรับการค้นหาช่องโหว่ในโมเดล LLM
• Tabstack: API สำหรับการรันเว็บและแปลงข้อมูล ที่ช่วยให้ระบบ AI อ่านและทำงานบนเว็บได้อย่างเสถียร
  • มุ่งเป้าไปที่นักพัฒนาที่สร้าง AI Agent, เครื่องมือวิจัย, data pipeline และเวิร์กโฟลว์อัตโนมัติ
• จดหมายข่าว Mozilla New Products ให้ การเข้าถึงล่วงหน้า ผลิตภัณฑ์และฟีเจอร์ล่าสุด การสำรวจอัปเดต และการแชร์ความคิดเห็น
• เนื้อหาที่ให้มาไม่มีคำอธิบายเกี่ยวกับ MemoryCache จึงไม่สามารถตรวจสอบฟีเจอร์หรือรายละเอียดการใช้งานจริงได้

[ndrgrd]

ทุกอย่างก็ดีอยู่หรอก แต่หวังว่าจะไม่พยายามทำให้เบราว์เซอร์กลายเป็นร้านขายของเก่าจุกจิกไปเสียหมดอยู่เรื่อยนะ
คงมีบทเรียนที่ได้มาจาก internet suite ในอดีตอยู่แล้วนี่นา

เบราว์เซอร์ก็คือเบราว์เซอร์ AI ก็คือ AI ถ้าจำเป็นก็ค่อยแยกไปรันต่างหากก็พอ

[GN⁺]

ความคิดเห็นจาก Hacker News

• แทนที่ข้อมูลจะต้องวิ่งไปหาโมเดล โมเดลควรมาหาข้อมูลในเครื่อง และข้อมูลก็ควรอยู่ในเครื่องต่อไป
  มีโอเพนซอร์สจำนวนมากที่ดึงข้อมูลส่วนตัวมาใช้ได้ แต่ยังจัดการกับรูปภาพหรือวิดีโอได้ไม่ดีนัก ในอนาคตแต่ละคนอาจมีโมเดลเป็นของตัวเอง แต่ตอนนี้แม้เทคโนโลยีจะมีแล้ว ก็ยังขาดผลิตภัณฑ์หรือโอเพนซอร์สที่ทำให้ทุกคนมี QLORA, RAG, ตัวสรุปความ ได้อย่างง่ายดาย
  ไม่ใช่แค่ข้อความหรือเอกสารเท่านั้น สิ่งที่เราอ่าน เขียน และแม้แต่ความคิด ก็เป็นองค์ประกอบที่ทำให้เราเป็นเรา ประวัติการท่องเว็บบอกได้มากว่าเราอ่านอะไร แต่แทบไม่ได้ถูกนำไปใช้เลยนอกจากสิ่งที่ Google เอาไปใช้ทำโฆษณา มันควรจะสามารถรวบรวมเว็บไซต์ข่าว โซเชียลเน็ตเวิร์ก และวิดีโอ YouTube ที่เราเสพทุกวัน แล้วบอกได้ว่า “สรุปของ 3 ที่นี้วันนี้คือแบบนี้”
  เมื่อวานตอนดู https://www.youtube.com/watch?v=zHLCKpmBeKA ก็คิดขึ้นมาว่า ทำไมผ่านมาเกือบ 30 ปีแล้ว เรายังไม่มี ผู้ช่วยคอมพิวเตอร์ ที่ก้าวนำเราไปหนึ่งก้าวอยู่ดี

  • สำหรับประเด็นที่ว่า “มีโอเพนซอร์สจำนวนมากที่ดึงข้อมูลส่วนตัวได้ แต่ไม่ทำภาพหรือวิดีโอ” นั้น โมเดลโลคัลสำหรับภาพ กำลังดีขึ้นมากทีเดียว
    LLaVA เป็นโมเดลภาษาขนาดใหญ่ที่มีความสามารถด้านภาพแบบมัลติโหมด และรันบนแล็ปท็อปของฉันได้ค่อนข้างดี: https://simonwillison.net/2023/Nov/29/llamafile/
    โมเดลอย่าง Salesforce BLIP ก็ใช้สร้างคำบรรยายภาพได้ และฉันก็ทำเครื่องมือ CLI ขนาดเล็กสำหรับมันไว้ด้วย: https://github.com/simonw/blip-caption
  • มีคนกำลังสร้างสิ่งนั้นอยู่พอดีที่ https://software.inc
    รวบรวมข้อมูลเกี่ยวกับผู้ใช้ หรือก็คือข้อมูลจากคอมพิวเตอร์และอินเทอร์เน็ต ลงใน ฐานข้อมูลภายในเครื่อง แล้วสอนให้โมเดลรู้วิธีใช้งานมัน โมเดลอาจเป็นแบบโลคัลหรืออยู่บนคลาวด์ก็ได้ และสามารถทำ routing คำขอตามความอ่อนไหวของข้อมูลหรือความสามารถที่ต้องใช้ได้
    ถ้าฟังดูน่าสนใจ ตอนนี้ก็กำลังรับคนอยู่ด้วย
  • ต่อให้ตัด AI ออกไป แค่มีตัวเก็บถาวรที่ช่วยให้ค้นหาเว็บเพจทุกหน้าที่เคยเข้าด้วย การค้นหาแบบดั้งเดิม ได้ ก็ถือว่าก้าวหน้าไปมากแล้ว
    การค้นหาของฉันจำนวนไม่น้อยคือการกลับไปหาอะไรที่เคยเห็นมาก่อน แต่ก็มักติดปัญหาเพราะหน้าหายไปแล้ว ถูกจัดอันดับต่ำในเสิร์ชเอนจิน หรือเป็นเอกสารเก่าที่ใช้แค่ HTTP จนถูกกลบด้วยเนื้อหาที่ทำ SEO
  • ฉันคิดว่า GitHub Copilot ก็ทำงานแบบนั้นพอดี มันสแกนและทำดัชนีทั้งโค้ดเบสรวมถึง dependency ก่อน จากนั้นตอน autocomplete ก็ใช้บริบทของโค้ดอย่างหนัก นี่แหละที่ทำให้ Copilot มีประโยชน์
    เห็นด้วยกับแนวคิดที่ว่าโมเดลควรมาหาข้อมูลของเรา ถ้าปัญญาระดับ Copilot ทำงานอยู่ในอุปกรณ์ทั้งหมดและสามารถไล่ดูร่องรอยส่วนตัวอย่างข้อความ ประวัติการท่องเว็บ และเนื้อหาเว็บเพจได้ นั่นคงเป็น ตัวเปลี่ยนเกม
  • ฉันนึกถึงอะไรที่ทะเยอทะยานกว่าการสรุปเว็บไซต์ที่ดูวันนี้อีก เราต้องการโมเดลที่ใช้ประวัติการค้นหาและพฤติกรรมเพื่อดึงวิธี เขียนคำค้นหา ออกมา
    คำค้นหาของ Bing Chat ดูเหมือนสิ่งที่ลุงคนหนึ่งจะพิมพ์หลังเพิ่งมีคนอธิบายคร่าว ๆ ว่าเสิร์ชเอนจินคืออะไร มันควรใช้โอเปอเรเตอร์ขั้นสูงอย่าง site: หรือ filetype: อย่างน้อยก็วงเล็บกับ AND/OR
    มันน่าจะปรับจูนแบบละเอียดให้เลียนแบบกระบวนการค้นหาของนักวิจัยฝีมือเยี่ยม ผู้ช่วยกฎหมาย และวัยรุ่นออทิสติกที่สามารถแฟ็กต์เช็กเรื่องเล่าของคุณปู่เกี่ยวกับ Ellis Island ได้ทันที พร้อมหาบันทึกการเดินทางมาถึงและหลักฐานการแปลงสัญชาติที่ Chicago

• เป็นไอเดียที่ดี Mozilla โดนด่าอย่างสมควรเยอะเรื่องบริหาร Firefox ได้ไม่ดีและชอบเทศนาการเมือง แต่ฉันก็ยังคิดว่าพวกเขายังมีความสามารถในการสร้าง เทคโนโลยีที่เป็นมิตรกับผู้ใช้โดยยังรักษาความเป็นส่วนตัว ได้
  ฉันใช้ตัวแปลแบบออฟไลน์ที่ฝังมากับ Firefox บ่อยมาก มันเหมือนเวทมนตร์ ไม่เคยคิดเลยว่าของแบบนี้จะรันแบบโลคัลได้โดยไม่ต้องใช้ฮาร์ดแวร์ระดับเซิร์ฟเวอร์ฟาร์ม
  หวังว่าการทดลองนี้จะออกมาแบบนั้นเหมือนกัน

• สำหรับรูปแบบการใช้เบราว์เซอร์ของฉัน สิ่งนี้ไม่ค่อยตอบโจทย์ ฉันไม่ได้อยาก “แชต” กับประวัติการท่องเว็บ แค่อยากให้เบราว์เซอร์ ทำดัชนีเนื้อหา bookmark จากระบบปฏิบัติการ เพื่อให้ค้นหาเนื้อหาจริงของหน้าได้
  ฉันคิดว่าวงจรป้อนกลับที่ได้จาก ChatGPT จะดีกว่า local GPT equivalent มากเสมอ
  แต่ฉันก็คั่นหน้าเพจที่มีข้อมูลสำคัญซึ่งน่าจะกลับมาดูอีกมากกว่าหนึ่งครั้งในอนาคตอยู่บ่อย ๆ เลยเริ่มทำโซลูชันที่ crawl bookmark ในพื้นที่เก็บข้อมูลของเบราว์เซอร์ ดาวน์โหลดหน้าเหล่านั้น แล้วเพิ่มเข้าไปใน search index ของระบบปฏิบัติการ
  นี่เป็นเรื่องที่คาใจมาหลายปีแล้ว

  • ชุดข้อมูลขนาดเล็กมักมีปัญหาเรื่อง recall ในการค้นหาข้อความแบบเต็ม ถ้ามี AI เข้ามาช่วยด้วย fuzzy search แบบฉลาดขึ้นอีกนิด ประสบการณ์การใช้ bookmark ที่ทำดัชนีแบบโลคัลก็น่าจะดีมาก
  • ตอน Chrome ออกมาใหม่ ๆ มันไม่ได้ทำแบบนี้อยู่แล้วหรือ? เหมือนจะจำลาง ๆ ได้ว่าเคยมีเป็นฟีเจอร์
    ส่วนตัวแค่ถ้าเบราว์เซอร์เลิกชอบลืมประวัติไปเรื่อย ๆ ฉันก็พอใจแล้ว ทั้ง Firefox และ Safari เก็บประวัติสั้นเกินไป
  • นี่มันก็แค่ Safari ไม่ใช่เหรอ? ถ้าสมมติว่าใช้ชิปรุ่นใหม่

• ถ้ามีวิธี “แชต” กับประวัติการท่องเว็บและเนื้อหาหน้าเว็บได้จริงก็คงดีมาก ฉันสงสัยว่ามีวิธีบันทึกหน้าที่เคยเข้าไว้โดยอัตโนมัติเพื่อมาจัดการทีหลังไหม
  ฉันเคยหามาตั้งแต่เมื่อกว่า 10 ปีก่อน แต่ไม่เคยเจอวิธีแก้ที่ดีพอ

  • Memex ของ WorldBrain(https://github.com/WorldBrain/Memex) ดูเหมือนจะสัญญาว่าจะทำสิ่งนี้ได้ ไอเดียน่าตื่นเต้นดี แต่เหมือนจะมีเหตุผลบางอย่างที่ทำให้สุดท้ายฉันเลิกใช้
  • ลองดู Recoll และ Recoll-WE ได้: https://addons.mozilla.org/en-US/firefox/addon/recoll-we/
  • Zotero ก็อาจพอทำได้ แต่เพราะมันเน้นงานวิจัย จึงใกล้เคียงกับทางแก้ที่ไม่สมบูรณ์มากกว่า
  • Rewind.ai แทบจะตรงกับการใช้งานนี้เลย ฉันเพิ่งติดตั้งไป และจนถึงตอนนี้ก็ค่อนข้างพอใจ

• บุ๊กมาร์กแบบดั้งเดิมล้มเหลวเพราะการจัดระเบียบที่ พึ่งพาความจำ นั้นขยายต่อไม่ได้ อินเทอร์เฟซแบบนี้น่าจะขยายได้ และถ้าทำดีพอก็อาจแทนที่บุ๊กมาร์กได้ทั้งหมด
  คิดดูแล้วมันยังใช้กับไฟล์ในเครื่องทั้งหมดได้ด้วย จึงอาจทำงานเหมือนเวอร์ชันที่ดีกว่าของแนวคิดเก่าอย่าง “ใช้ระบบไฟล์เหมือนฐานข้อมูล”
  มันเข้ากับคลังความรู้เฉพาะทางได้ด้วย เช่น Zotero ที่ขับเคลื่อนด้วยโมเดลภาษาขนาดใหญ่

  • ฟังดูเหมือนเพิ่งประดิษฐ์ Windows Longhorn เวอร์ชันสมัยใหม่ขึ้นมาเลย
  • นี่ไม่ใช่แนวคิดของ “Networked Environment for Personal, Ontology-based Management of Unified Knowledge” หรือ Nepomuk semantic desktop เหรอ?
    ถ้าทำให้โมเดลภาษาขนาดใหญ่กรอก RDF ได้ดีพอ และถ้าตอนนี้มีหน่วยความจำกับสตอเรจที่มากขึ้นและเร็วขึ้นมาก ก็อาจใช้งานได้จริง
  • อะไรอย่าง Orbit น่าจะเหมาะมาก
    https://withorbit.com/

• ดูเหมือน Mozilla จะจับอะไรบางอย่างได้
  แทนที่จะคุยโต้ตอบกับบริษัทใหญ่ ๆ ผ่านพรอมป์ตแล้วทำให้พวกเขารวยขึ้นทุกครั้ง นี่คือแนวทางที่ใช้ โมเดลโลคัลขนาดเล็กกว่า และเคารพความเป็นส่วนตัวมากกว่ามาก
  ถ้าเป็นโมเดลการดำเนินงานแบบนี้ ก็อยากมีส่วนร่วมกับโอเพนซอร์สหรือแม้แต่สนับสนุนเงินทุน
  พูดตามตรงไม่ได้เป็นแฟนตัวยงขององค์กร Mozilla หรอก แต่ก็อดเชียร์ม้ามืดไม่ได้

  • ในอนาคต AI ของพวกเขาจะคุยกับ AI ของเรา เพราะเราจำเป็นต้องมี เกราะป้องกัน
  • คล้ายกับสิ่งที่ Apple ทำมาหลายปีแล้ว เพียงแต่ยังไม่ชัดว่าในนั้นมีส่วนที่เป็น “AI” มากแค่ไหน ดังนั้นจึงเป็นธรรมดาที่จะมีคนอื่นเข้ามาเติมช่องว่างนี้

• สำหรับคนที่สนใจ นี่คือรีโพซิทอรีของ PrivateGPT: https://github.com/imartinez/privateGPT
  ดูเหมือนในเว็บไซต์ทางการจะไม่มีลิงก์ไว้

  • มีลิงก์จากรีโพซิทอรี MemoryCache ที่อยู่ท้ายบทความ: https://github.com/Mozilla-Ocho/Memory-Cache
  • สงสัยว่า PrivateGPT ใช้โมเดลโลคัลตัวไหน และมาจากที่ไหน
    อัปเดต: ไปค้นเองแล้ว ดูเหมือนว่าในโหมดโลคัลจะใช้ llamacpp: https://github.com/imartinez/privateGPT/blob/main/private_gp...

• เพราะเคยผ่าน ยุค Firefox OS มาในฐานะอดีตอินเทิร์น เลยรู้สึกว่านี่เหมือน Mozilla กำลังกลับเข้ามาใหม่เพื่อออกระบบปฏิบัติการของตัวเองอีกครั้งในอนาคต
  เคยบอกว่าอินเทอร์เน็ตถือกำเนิดมาเพื่อเชื่อมผู้คนเข้าด้วยกัน แต่การยัดฟีเจอร์หรูหราพวกนี้ทั้งหมดลงในเบราว์เซอร์อาจไม่ใช่วิธีที่ดีที่สุด
  โดยพื้นฐานแล้ว Firefox OS ประกอบด้วยเคอร์เนล Linux ขนาดเล็ก, Gecko และ HTML5 สำหรับการเรนเดอร์ เช่นเดียวกับ iOS และ iPadOS Mozilla ก็อาจนำเสนอระบบปฏิบัติการลักษณะคล้ายกันสำหรับอุปกรณ์หรือแพลตฟอร์มได้
  ช่วง 5 ปีที่ผ่านมา Mozilla ก็ลงทุนใน AR และ VR มาด้วย ดังนั้นถ้าสุดท้ายจะเดิมพันกับ Firefox OS เวอร์ชันใหม่อีกครั้งก็ไม่น่าแปลกใจ

• หรือว่าตั้งใจจะลิงก์ไปยังรีโพซิทอรีที่ถูก fork?
  https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... เชื่อมไปที่ https://github.com/misslivirose/Memory-Cache
  ที่ตั้งใจไว้คือ https://github.com/Mozilla-Ocho/Memory-Cache หรือเปล่า?

• จากลิงก์ที่แชร์มาอย่างเดียว แทบไม่เข้าใจเลยว่านี่หมายถึงอะไร
  พอย้อนกลับไปดูฝั่งเว็บไซต์ทางการอีกหน่อย ก็เห็นคำอธิบายว่า “MemoryCache เป็นโปรเจ็กต์พัฒนาเชิงทดลองเพื่อเปลี่ยนสภาพแวดล้อมเดสก์ท็อปแบบโลคัลให้กลายเป็น AI agent บนอุปกรณ์”
  ยังมีบทความเดือนพฤศจิกายนด้วย: Introducing Memory Cache
  https://memorycache.ai/developer-blog/2023/11/06/introducing...