Local Deep Research - ใช้งานผู้ช่วยวิจัยส่วนตัวของคุณบนเครื่องโลคัล

 (github.com/LearningCircuit)
16 คะแนน โดย GN⁺ 2025-03-12 | 4 ความคิดเห็น | แชร์ทาง WhatsApp
  • เครื่องมือวิจัยทรงพลังที่ขับเคลื่อนด้วย AI ทำการวิเคราะห์เชิงลึกแบบวนซ้ำโดยใช้ LLM หลายตัวและการค้นหาเว็บ
    • ผสานความสามารถในการค้นหาจาก ArXiv, Wikipedia, Google, PubMed, DuckDuckGo, SerpAPI, RAG แบบโลคัล, The Guardian และอื่น ๆ
  • สามารถรันแบบโลคัลเพื่อเสริมความเป็นส่วนตัว หรือกำหนดค่า LLM บนคลาวด์เพื่อเพิ่มประสิทธิภาพได้

ฟีเจอร์การวิจัยขั้นสูง

  • การวิจัยเชิงลึกแบบอัตโนมัติ: สร้างคำถามติดตามอย่างชาญฉลาด
  • การติดตามและตรวจสอบแหล่งที่มา: ติดตามการอ้างอิงและแหล่งที่มาโดยอัตโนมัติ
  • การวิเคราะห์แบบวนซ้ำ: ให้ความครอบคลุมอย่างรอบด้านด้วยการวิเคราะห์หลายขั้นตอนแบบวนซ้ำ
  • การวิเคราะห์เนื้อหาทั้งหน้าเว็บ: วิเคราะห์จากเนื้อหาทั้งหมด ไม่ใช่แค่สไนเป็ต

รองรับ LLM อย่างยืดหยุ่น

  • รองรับโมเดลแบบโลคัล: ประมวลผล AI แบบโลคัลด้วย Ollama
  • รองรับโมเดลบนคลาวด์: รองรับคลาวด์ LLM เช่น Claude, GPT
  • เข้ากันได้กับโมเดล Langchain: รองรับโมเดล Langchain หลากหลาย
  • เลือกโมเดลได้: ตั้งค่าโมเดลตามประสิทธิภาพ ความเร็วในการตอบสนอง ฯลฯ ได้

ตัวเลือกผลลัพธ์ที่หลากหลาย

  • ผลการวิจัยแบบละเอียด: ให้รายงานแบบละเอียดพร้อมการอ้างอิง
  • รายงานวิจัยแบบครบถ้วน: ให้ผลการวิจัยอย่างครอบคลุม
  • สรุปแบบรวดเร็ว: สรุปประเด็นสำคัญได้
  • การติดตามและตรวจสอบแหล่งที่มา: รองรับการติดตามและตรวจสอบแหล่งที่มา

การออกแบบที่เน้นความเป็นส่วนตัว

  • รันแบบโลคัลได้: เมื่อใช้โมเดลแบบโลคัล ข้อมูลทั้งหมดจะถูกเก็บไว้ในอุปกรณ์ของผู้ใช้
  • ตั้งค่าการค้นหาได้: เสริมการปกป้องความเป็นส่วนตัว
  • การจัดการข้อมูลที่โปร่งใส: เปิดเผยวิธีการประมวลผลข้อมูลอย่างชัดเจน

การผสานการค้นหาที่ดียิ่งขึ้น

  • เลือกเสิร์ชเอนจินอัตโนมัติ: เลือกเสิร์ชเอนจินอัตโนมัติตามเนื้อหาของคิวรี
  • ผสาน Wikipedia: ค้นหาข้อเท็จจริงที่เชื่อถือได้
  • ผสาน arXiv: ค้นหาบทความวิทยาศาสตร์และงานวิจัยทางวิชาการ
  • ผสาน PubMed: ค้นหาข้อมูลวิจัยทางการแพทย์และชีวการแพทย์
  • ผสาน DuckDuckGo: ค้นหาเว็บทั่วไปโดยเน้นความเป็นส่วนตัว (อาจมีการจำกัดอัตรา)
  • ผสาน SerpAPI: แสดงผลการค้นหาจาก Google (ต้องใช้ API key)
  • Google Programmable Search: ตั้งค่าการค้นหาแบบกำหนดเอง (ต้องใช้ API key)
  • ผสาน The Guardian: ค้นหาข่าวและคอนเทนต์สายวารสารศาสตร์ (ต้องใช้ API key)
  • ค้นหา RAG แบบโลคัล: ค้นหาเอกสารส่วนตัวได้ (ใช้ vector embedding)
  • ค้นหาเนื้อหาทั้งหน้าเว็บ: ค้นหาเนื้อหาทั้งหมดของหน้าเว็บได้
  • กรองและตรวจสอบแหล่งที่มา: กรองให้เหลือแหล่งข้อมูลที่เชื่อถือได้
  • ตั้งค่าพารามิเตอร์การค้นหาได้: กำหนดช่วงการค้นหา ช่วงเวลา ฯลฯ ได้

การค้นหาเอกสารแบบโลคัล (RAG)

  • การค้นหาโดยอิง vector embedding: ค้นหาเนื้อหาจากเอกสารส่วนตัวได้
  • สร้างคอลเลกชันเอกสารแบบกำหนดเอง: จัดกลุ่มเอกสารตามหัวข้อได้
  • ปกป้องความเป็นส่วนตัว: เอกสารทั้งหมดถูกประมวลผลแบบโลคัล
  • การแบ่งชิ้นและค้นหาอย่างชาญฉลาด: แบ่งชิ้นเนื้อหาเอกสารและค้นหาได้
  • รองรับรูปแบบเอกสารหลากหลาย: รองรับ PDF, ข้อความ, Markdown และอื่น ๆ
  • ใช้การค้นหาเมตาแบบรวมโดยอัตโนมัติ: ผสานการค้นหาแบบโลคัลและบนเว็บได้

เว็บอินเทอร์เฟซ

  • มีแดชบอร์ดให้ใช้งาน: อินเทอร์เฟซใช้งานง่าย
  • อัปเดตความคืบหน้าแบบเรียลไทม์: แสดงสถานะการวิจัยแบบเรียลไทม์
  • จัดการประวัติการวิจัย: เข้าถึงและจัดการบันทึกการวิจัยก่อนหน้าได้
  • ส่งออกรายงานเป็น PDF: ดาวน์โหลดรายงานวิจัยเป็น PDF ได้
  • การจัดการงานวิจัย: หยุดหรือลบงานวิจัยที่กำลังดำเนินอยู่ได้

ตัวเลือกเสิร์ชเอนจินที่รองรับ

  • Auto: เลือกเอนจินอัตโนมัติตามคิวรี
  • Wikipedia: เหมาะสำหรับค้นหาข้อมูลทั่วไปและข้อเท็จจริง
  • arXiv: เหมาะสำหรับค้นหางานวิทยาศาสตร์และบทความวิชาการ
  • PubMed: เหมาะสำหรับงานวิจัยทางชีวการแพทย์และการแพทย์
  • DuckDuckGo: การค้นหาเว็บทั่วไปที่เน้นความเป็นส่วนตัว
  • The Guardian: ค้นหาข่าวและงานวารสารศาสตร์ (ต้องใช้ API key)
  • SerpAPI: แสดงผลการค้นหาจาก Google (ต้องใช้ API key)
  • Google Programmable Search: การค้นหาแบบกำหนดเอง (ต้องใช้ API key)

บทความที่เกี่ยวข้อง

4 ความคิดเห็น

 
zxshinxz 2025-03-13
  • ในฐานะคนทำงานสายชีววิทยาศาสตร์ อยากแชร์ผลการใช้งานแบบสั้น ๆ

โหมด Reseach มีให้ 2 แบบ

  1. Quick summary
  • ใช้เวลาประมาณ 5~6 นาที (อ้างอิงจาก 4070 ti super, 16GB, Mistral และ Gemma 3:12b)
  • มีอาการหลอนอยู่บ้าง จึงสร้าง Reference ขึ้นมาเอง แต่ Ref ที่มีลิงก์แนบในเอกสารดูเหมือนว่าจะมีที่มาชัดเจน
  • มีแนวโน้มที่จะตอบคำถามโดยโฟกัสที่ เทคโนโลยีใหม่ โดยเฉพาะพยายามเชื่อมโยงกับ AI
  1. Detailed Report
  • ใช้เวลาประมาณ 1 ชั่วโมง (4070 ti super 16GB, Gemma 3:12b)
  • ให้ความรู้สึกเหมือนสร้างรีวิวเปเปอร์หนึ่งฉบับให้เลย แต่มีปัญหาที่จำนวน Reference ลดลงอย่างมาก ถึงเนื้อหาจะถูกต้องก็เถอะ แต่ถ้าไม่มีหลักฐานอ้างอิงก็ยังต้องปรับปรุงอีกนิด (ดูเหมือนว่าจะมีการขัดเกลาซ้ำเพื่อยกระดับคุณภาพของบทความ และในกระบวนการนี้ลิงก์ Ref น่าจะหายไป)
  • แต่ก็ชัดเจนว่าคุณภาพเนื้อหาสูงกว่า Quick summary

ตั้งค่าได้หลากหลายในไฟล์ Config สามารถจำกัดฐานข้อมูลที่ใช้ค้นหาให้เหลือแค่ PubMed เพื่อยกระดับคุณภาพของข้อมูลได้อีกขั้น และยังตั้งค่าได้ด้วยว่าจะค้นหาข้อความครั้งละมากแค่ไหน หรือจะสร้างชังก์จำนวนเท่าไรเมื่อใช้ RAG

เมื่อพิจารณาว่าตอนนี้ยังเป็นเวอร์ชัน 0.01V ก็ต้องบอกว่าน่าทึ่งมากที่เครื่อง Local สามารถสร้างรายงานได้ถึงระดับนี้ โดยเฉพาะในสายชีววิทยาศาสตร์ แชตบอตมักใช้ คำอธิบายแบบเหมารวม กันบ่อย แต่รายงานที่สร้างจากโปรแกรมนี้ใช้ถ้อยคำเชิงวิทยาศาสตร์ได้ดีมาก

ตอนนี้โปรแกรมนี้ยังไม่รองรับภาษาเกาหลี ต่อให้ถามเป็นภาษาเกาหลี รายงานก็จะถูกแสดงผลเป็นภาษาอังกฤษ
นอกจากนี้ เมื่อส่งออกเป็น PDF แล้วรับคำตอบเป็นไฟล์ PDF ก็ยังมีปัญหาที่ภาษาเกาหลีไม่แสดงผล

ถ้าแก้ปัญหาที่ Ref หายไประหว่างสร้างรายงาน และปัญหาอาการหลอนได้ ก็คิดว่านี่จะเป็นเครื่องมือที่ทรงพลังมากจริง ๆ
 
zxshinxz 2025-03-14

พอได้ลองใช้มากขึ้น ดูเหมือนว่าใน Ollama โมเดลที่ทำงานได้ดีเป็นพิเศษจากหลาย ๆ รุ่นคือ Qwen2.5 ส่วน Deepseek-r1 ตอนทำ Search มักสร้างคิวรีแปลก ๆ เลยดึงเนื้อหาที่ใช้อ้างอิงมาผิด และพวกตระกูล Gemma จะตีความพรอมป์ต์ที่ยกมาเป็นตัวอย่างว่าเป็นพรอมป์ต์จริง ทำให้พยายามใส่เนื้อหาในหัวข้อที่เกี่ยวข้องนั้นลงไปแบบเจาะจง
 
GN⁺ 2025-03-12
ความคิดเห็นจาก Hacker News

  • ขอชื่นชมความพยายามเพื่อพื้นที่แบบโลคัลและความละเอียดต่ำ (lo-fi) แต่พออ่านตัวอย่างในเอกสารแล้วรู้สึกว่าผลลัพธ์ค่อนข้างสับสน

    • คิดว่าน่าจะต้องมีขั้นตอนกลางอย่างน้อยหนึ่งขั้นตอน ตัวอย่างเช่น ใช้กราฟดาต้าเบสเพื่อให้ LLM จัดเก็บข้อมูล ตรวจสอบความเชื่อมโยงระหว่างกัน และตั้งคำถามกับตัวเองก่อนสร้างรายงานฉบับสุดท้าย
    • รายงานฉบับสุดท้ายอาจเป็นไฟล์ HTML แบบอินเทอร์แอ็กทีฟที่ผู้ใช้สามารถถามคำถามหรือแก้ไขได้โดยตรง
    • มีเครื่องมือ open deep research ที่คล้ายกันชื่อ Onyx และดูเหมือนว่า UI/UX จะดีกว่า ผู้เขียนอาจพิจารณาพอร์ตเครื่องมือนี้ให้ทำงานแบบโลคัลได้
    • ไม่ได้หมายความว่าโปรเจ็กต์นี้ไม่ดี แต่กังวลว่าโปรเจ็กต์ open deep research จำนวนมากจะหายไป น่าจะดีกว่าถ้าผู้คนร่วมมือกันโดยโฟกัสในส่วนที่สนใจมากที่สุด

  • โปรเจ็กต์นี้เจ๋งมาก

    • ถ้าต้องการเพิ่ม embeddings โดยใช้อินเทอร์เน็ตเป็นแหล่งข้อมูล ขอแนะนำให้ลอง exa.ai ซึ่งรวม Wikipedia, ฟีดข่าวหลายพันแหล่ง, Github และงานวิจัยมากกว่า 70 ล้านฉบับ
    • หมายเหตุ: ฉันเป็นหนึ่งในผู้ก่อตั้ง

  • ลองแล้ว แต่มีข้อผิดพลาดเกิดขึ้นเยอะมากจนสร้างรายงานไม่ได้ และไม่มีวิธีให้ทำต่อจากจุดเดิมเมื่อการสร้างล้มเหลว ถ้า API call ล้มเหลวก็ต้องเริ่มใหม่ตั้งแต่ต้น

  • ควรพิจารณา Kagi และ Tavily API สำหรับการค้นหาบนเว็บด้วย

  • ดูเจ๋งมาก อยากรู้ว่าเมื่อเทียบกับความสามารถ RAG ของ open-webui แล้วเป็นอย่างไร

    • มีทั้งวิธีค้นหาบนเว็บและทำ document embedding แต่ผลลัพธ์ยังไม่ดีเพราะรายละเอียดบางส่วนหายไปจาก embedding เลยสงสัยว่าวิธีนี้จะดีกว่าหรือไม่

  • สงสัยว่ามีใครใช้ LLM (แบบโลคัล) เพื่อค้นหาแหล่งข้อมูลที่เกี่ยวข้องจากคลังข้อมูลโดยตรง โดยไม่พึ่ง vector search บ้างไหม

  • งานดีมาก

    • ช่วงนี้คิดว่าคอลเลกชันแบบโลคัลที่ผ่านการประมวลผลล่วงหน้า โดยใช้ข้อมูลเชิงโครงสร้างที่คัดสรรมาเพื่อ RAG อาจเป็นส่วนเสริมที่ดีให้กับแนวทางการค้นหาแบบไดนามิกนี้
    • เห็นว่าใช้ LangChain อยู่ และ txtai ก็น่าลองดู

  • สงสัยว่ามีเครื่องมือที่มอบประสบการณ์ค้นหาแบบ AI และผสมเนื้อหาจากบุ๊กมาร์กเพื่อสร้างรายงานได้หรือไม่ ตอนนี้บุ๊กมาร์กแทบไม่มีประโยชน์ ซึ่งสิ่งนี้อาจทำให้มันมีประโยชน์ขึ้นได้

    • ตอนนี้โหมดล้มเหลวที่เกิดบ่อยใน deep research ของ OpenAI คือดึงคำตอบจากแหล่งที่มีความน่าเชื่อถือต่ำ แล้วอ้างอิงให้ดูเหมือนเป็นวารสารวิทยาศาสตร์ แหล่งแบบนี้แทบไม่มีเนื้อหาที่มีคุณค่า และต่อให้แหล่งอื่นคุณภาพสูง แหล่งคุณภาพต่ำเพียงแหล่งเดียวก็ทำให้ทุกอย่างเสียได้
    • การเน้นคอนเทนต์ที่คุณคัดสรรไว้แล้ว (บุ๊กมาร์ก) อาจช่วยเพิ่มอัตราส่วนสัญญาณต่อสัญญาณรบกวน (SNR) ได้มาก

  • คิดว่าคนที่สร้าง GUI แบบเกม 3D สำหรับ LLM จะกลายเป็นทั้ง Jobs/Gates/Musk คนต่อไปและเจ้าของรางวัลโนเบล เพราะมันจะทำให้คนหลายล้านเห็นภายในของ LLM และช่วยแก้ปัญหา alignment ได้ คอมพิวเตอร์เพิ่งกลายเป็นของมหาชนหลังมี OS ที่มี GUI และแชตบอตในปัจจุบันก็คล้ายกับ command line ฉันเริ่ม ASK HN เพื่อแชร์ไอเดียด้าน AI safety แล้ว
 
zhniee 2025-03-13

ไม่เข้าใจเลย ไม่ต้องพูดถึงระดับวิชาการด้วยซ้ำ แม้แต่ระดับการเขียนโค้ดของเด็กประถมก็ยังไม่ถึง แล้วจะแชร์สิ่งนี้ไปทำไม...