บันทึกการสร้าง sLLM เฉพาะโดเมนภาครัฐ — molit-gemma + RAG
กรณีศึกษาการสร้าง แชตบอตเฉพาะโดเมนแบบ on-premises ภายใต้สภาพแวดล้อมด้านความปลอดภัยที่หน่วยงานสาธารณะใช้งาน LLM ภายนอกอย่าง ChatGPT/Claude ได้ยาก
TL;DR
- fine-tune Google Gemma-3-1B ด้วยเอกสารนโยบายของกระทรวงที่ดิน โครงสร้างพื้นฐาน และคมนาคม →
molit-gemma - ลดอาการหลอนด้วย RAG บน OpenSearch
- BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
- ติดตั้งใช้งานแบบ on-premises ทั้งหมด (external API 0)
ทำไมต้อง sLLM
- การตอบคำร้องเรียนหรือคำถามประชาชนของภาครัฐมีความเสี่ยงด้านข้อมูลรั่วไหลหากเรียกใช้ external API
- โมเดลระดับ 70B มีภาระด้านโครงสร้างพื้นฐาน GPU สูง → ใช้โมเดล 1B + RAG เพื่อชดเชย
- การ fine-tune เฉพาะโดเมนให้ความแม่นยำดีกว่า LLM ทั่วไป
โครงสร้าง
คำถามของผู้ใช้ → ค้นหาด้วย OpenSearch → เอกสารนโยบาย Top-K → molit-gemma สร้างคำตอบ → อ้างอิงแหล่งที่มา
นัยสำคัญ
- นำเสนอ baseline เชิงประจักษ์ของการผสาน sLLM + RAG ในภาครัฐ
- แม้เป็นโมเดล 1B ก็อาจใช้งานได้จริงหากจำกัดโดเมน
- ลดอาการหลอนพร้อมเพิ่มความสามารถในการอธิบายที่มา
ลิงก์
- บทความวิจัย (RISS): https://www.riss.kr/link?id=T17378943
- โมเดล (Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
- โค้ด (GitHub): https://github.com/chohi22/Industrial-AI/…
1 ความคิดเห็น
ขอแสดงความยินดีกับวิทยานิพนธ์ครับ!