Ask HN: ณ เดือนธันวาคม 2023 ต้องทำอย่างไรหากต้องการฝึก custom LLM/ChatGPT ด้วยเอกสารของตัวเอง?

 (news.ycombinator.com)
4 คะแนน โดย GN⁺ 2023-12-26 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • มีเธรดที่เกี่ยวข้องเมื่อ 5 เดือนก่อน แต่ข้อมูลอาจ ล้าสมัย แล้ว จึงกำลังมองหาแนวทางอีกครั้งโดยอิงตามสถานะ ณ เดือนธันวาคม 2023
  • ประเด็นหลักของคำถามคือ วิธีที่ดีที่สุดในการป้อนชุดเอกสารแบบกำหนดเองให้กับ LLM เพื่อให้ได้ คำตอบที่มีอาการหลอนน้อยและคุณภาพค่อนข้างดี
  • ไม่ได้จำกัดแค่การฝึกโมเดลเองเท่านั้น แต่ครอบคลุมแนวทางทั้งหมดในการทำให้มันตอบคำถามจากเอกสารได้ รวมถึงแนวทางอย่าง RAG ด้วย

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-26
ความคิดเห็นจาก Hacker News

  • การฝึกกับเอกสารไม่ได้เกิดขึ้นจริง และแม้สตาร์ตอัปจำนวนมากจะใช้คำนี้ แต่ในความเป็นจริงพวกเขาใช้ RAG (Retrieval-Augmented Generation)

    • LlamaIndex ถูกมองว่าเป็นตัวเลือกที่ดีที่สุด
    • สตาร์ตอัปส่วนใหญ่ที่อ้างว่าฝึกกับเอกสาร แท้จริงแล้วใช้ RAG
    • แนะนำให้มองหาสคริปต์ที่ใช้ qLoRA เพื่อสร้างคู่คำถาม-คำตอบแบบอัตโนมัติ
    • กรณีที่นำไปใช้สำเร็จกับฐานความรู้เอกสารส่วนบุคคลมีไม่มาก โดยส่วนใหญ่ใช้กับทักษะอย่างคณิตศาสตร์ การให้เหตุผล และ Python
    • มีการพิสูจน์เชิงประจักษ์แล้วว่าการโยนชุดเอกสารเข้าไปทำ fine-tuning ตรง ๆ ไม่ได้ผล

  • ควรพิจารณาแนวทางที่ต่างกันตามปริมาณเอกสาร

    • RAG ทำงานได้ดีกับชุดข้อมูลขนาดเล็ก และ LlamaIndex ก็ทำวิศวกรรมไว้มากในด้านนี้
    • การผสาน fine-tuning กับ RAG มีประสิทธิภาพกับชุดข้อมูลขนาดใหญ่ที่มีความรู้ซึ่งหาได้ง่ายบนอินเทอร์เน็ต
    • การ pre-training อย่างต่อเนื่องจำเป็นเมื่อมีชุดข้อมูลขนาดใหญ่มากและมีความรู้เฉพาะที่เป็นกรรมสิทธิ์

  • AWS Bedrock ใช้งานง่าย สามารถอัปโหลดเอกสารไปยัง S3 แล้วซิงก์กับฐานข้อมูลเวกเตอร์เพื่อใช้งานผ่าน API ได้

    • Bedrock เป็นผลิตภัณฑ์ที่ให้ทั้งโมเดลหลากหลายแบบและ API กลางแบบเดียวกัน

  • h2ogpt เป็น RAG implementation แบบครบเครื่องที่จัดการเอกสารได้หลายรูปแบบและรองรับการโฮสต์โมเดลหลายแบบ

  • สามารถซื้อบัญชี ChatGPT แล้วอัปโหลดเอกสารของตนเองได้ ซึ่งทำให้สร้าง AI สนทนาแบบปรับแต่งเองได้

  • ตอนนี้ GPT-4 Assistants สามารถจัดการ RAG ได้โดยตรงอยู่แล้ว และ PrivateGPT ก็เป็นหนึ่งในตัวเลือกที่เป็นที่รู้จักสำหรับเรื่องนี้

  • Copilot Builder ของ Microsoft Office ช่วยให้ผู้ใช้สร้าง AI Copilot ได้ภายในไม่กี่วินาที โดยระบุ URL พื้นฐาน ไฟล์ที่อัปโหลด และอื่น ๆ

  • Cheshire Cat เป็นเฟรมเวิร์กผู้ช่วย AI ที่เก็บเอกสารเป็น "ความทรงจำ" เพื่อให้ค้นคืนได้ในภายหลัง

  • มีวิดีโอแนะนำวิธี fine-tune Mistral 7B ด้วย QLoRA และกล่าวด้วยว่าเทคนิค RAG อาจเป็นทางเลือกที่เหมาะสมกว่า