ถาม HN: เดือนธันวาคม 2023 ฝึก LLM/ChatGPT แบบปรับแต่งด้วยเอกสารของตัวเองอย่างไร?

 (news.ycombinator.com)
4 คะแนน โดย GN⁺ 2023-12-26 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

วิธีป้อนชุดเอกสารแบบปรับแต่งให้ LLM

  • ถกกันถึงวิธีที่ดีที่สุดในการป้อนชุดเอกสารของผู้ใช้ให้กับ LLM (Large Language Models) เพื่อให้ได้คำตอบที่เหมาะสมโดยไม่เกิดผลลัพธ์ที่หลุดจากความเป็นจริง
  • เน้นไปที่วิธี "สอน" ชุดเอกสารเฉพาะให้กับ LLM ซึ่งไม่ได้หมายความว่าจะต้องฝึกโมเดลเองเสมอไป และรวมถึงแนวทางอย่าง RAG (Retrieval-Augmented Generation) ด้วย
  • แม้จะมีเธรดเมื่อ 5 เดือนก่อน แต่ต้องการข้อมูลที่สอดคล้องกับสถานการณ์ปัจจุบัน ณ เดือนธันวาคม 2023

ความเห็นของ GN⁺

  • การใช้ LLM เพื่อดึงข้อมูลที่ถูกต้องจากชุดเอกสารเฉพาะกำลังมีความสำคัญมากขึ้นตามพัฒนาการของเทคโนโลยี
  • เทคโนโลยีลักษณะนี้ช่วยให้ผู้ใช้ได้ผลลัพธ์แบบปรับแต่งตามต้องการ และสามารถประยุกต์ใช้ได้ในหลายด้าน เช่น business intelligence, งานวิจัย และการศึกษา
  • การใช้แนวทางที่มีอยู่แล้วอย่าง RAG หรือการค้นหาวิธีใหม่ ๆ เป็นสิ่งสำคัญ ซึ่งจะช่วยเพิ่มการใช้งาน LLM และทำให้ได้ผลลัพธ์ที่แม่นยำและเชื่อถือได้มากขึ้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-26
ความคิดเห็นจาก Hacker News

  • การฝึกกับเอกสารไม่ได้เกิดขึ้นจริง และแม้สตาร์ตอัปจำนวนมากจะใช้คำนี้ แต่ในความเป็นจริงพวกเขาใช้ RAG (Retrieval-Augmented Generation)

    • LlamaIndex ถูกมองว่าเป็นตัวเลือกที่ดีที่สุด
    • สตาร์ตอัปส่วนใหญ่ที่อ้างว่าฝึกกับเอกสาร แท้จริงแล้วใช้ RAG
    • แนะนำให้มองหาสคริปต์ที่ใช้ qLoRA เพื่อสร้างคู่คำถาม-คำตอบแบบอัตโนมัติ
    • กรณีที่นำไปใช้สำเร็จกับฐานความรู้เอกสารส่วนบุคคลมีไม่มาก โดยส่วนใหญ่ใช้กับทักษะอย่างคณิตศาสตร์ การให้เหตุผล และ Python
    • มีการพิสูจน์เชิงประจักษ์แล้วว่าการโยนชุดเอกสารเข้าไปทำ fine-tuning ตรง ๆ ไม่ได้ผล

  • ควรพิจารณาแนวทางที่ต่างกันตามปริมาณเอกสาร

    • RAG ทำงานได้ดีกับชุดข้อมูลขนาดเล็ก และ LlamaIndex ก็ทำวิศวกรรมไว้มากในด้านนี้
    • การผสาน fine-tuning กับ RAG มีประสิทธิภาพกับชุดข้อมูลขนาดใหญ่ที่มีความรู้ซึ่งหาได้ง่ายบนอินเทอร์เน็ต
    • การ pre-training อย่างต่อเนื่องจำเป็นเมื่อมีชุดข้อมูลขนาดใหญ่มากและมีความรู้เฉพาะที่เป็นกรรมสิทธิ์

  • AWS Bedrock ใช้งานง่าย สามารถอัปโหลดเอกสารไปยัง S3 แล้วซิงก์กับฐานข้อมูลเวกเตอร์เพื่อใช้งานผ่าน API ได้

    • Bedrock เป็นผลิตภัณฑ์ที่ให้ทั้งโมเดลหลากหลายแบบและ API กลางแบบเดียวกัน

  • h2ogpt เป็น RAG implementation แบบครบเครื่องที่จัดการเอกสารได้หลายรูปแบบและรองรับการโฮสต์โมเดลหลายแบบ

  • สามารถซื้อบัญชี ChatGPT แล้วอัปโหลดเอกสารของตนเองได้ ซึ่งทำให้สร้าง AI สนทนาแบบปรับแต่งเองได้

  • ตอนนี้ GPT-4 Assistants สามารถจัดการ RAG ได้โดยตรงอยู่แล้ว และ PrivateGPT ก็เป็นหนึ่งในตัวเลือกที่เป็นที่รู้จักสำหรับเรื่องนี้

  • Copilot Builder ของ Microsoft Office ช่วยให้ผู้ใช้สร้าง AI Copilot ได้ภายในไม่กี่วินาที โดยระบุ URL พื้นฐาน ไฟล์ที่อัปโหลด และอื่น ๆ

  • Cheshire Cat เป็นเฟรมเวิร์กผู้ช่วย AI ที่เก็บเอกสารเป็น "ความทรงจำ" เพื่อให้ค้นคืนได้ในภายหลัง

  • มีวิดีโอแนะนำวิธี fine-tune Mistral 7B ด้วย QLoRA และกล่าวด้วยว่าเทคนิค RAG อาจเป็นทางเลือกที่เหมาะสมกว่า