- ปัญญาประดิษฐ์ (AI) กำลังเปลี่ยนแปลงเว็บและส่งผลกระทบต่อชีวิตของผู้คน
- Mozilla มุ่งมั่นต่อ AI ที่เชื่อถือได้ ซึ่งรวมถึงความโปร่งใส ความเป็นส่วนตัว อำนาจการตัดสินใจของผู้ใช้ และความเป็นธรรม
- แชตบอต AI เชิงกำเนิดได้รับความนิยม แต่ส่วนใหญ่ถูกควบคุมโดยบริษัทเทคโนโลยีรายใหญ่
- Mozilla เชื่อในพลังของโอเพนซอร์ส และพยายามป้องกันไม่ให้เทคโนโลยีถูกควบคุมโดยบริษัทเพียงไม่กี่ราย พร้อมทั้งเพิ่มอำนาจให้ผู้ใช้
- เมื่อไม่นานมานี้ Mozilla ได้จัดแฮกกาธอนเพื่อสร้างต้นแบบแชตบอตภายในองค์กร
- ทีมงานใช้โมเดลภาษาขนาดใหญ่ (LLM) แบบโอเพนซอร์ส และต้องเผชิญกับปัญหาด้านโฮสติ้ง สภาพแวดล้อมรันไทม์ การเลือกโมเดล อคติ และการขยายองค์ความรู้ของแชตบอต
- พวกเขาตัดสินใจโฮสต์แชตบอตบนโครงสร้างพื้นฐานคลาวด์ของ Mozilla เพื่อความเป็นส่วนตัวและการควบคุม
- พวกเขาใช้โปรเจ็กต์โอเพนซอร์ส
llama.cpp เพื่อรันโมเดลที่อิงสถาปัตยกรรม LLaMA
- พวกเขาประเมินโมเดลในด้านความเป็นพิษ อคติ ข้อมูลผิดพลาด และเนื้อหาอันตราย และเลือกใช้โมเดล LLaMA 2 ของ Facebook
- พวกเขาผสานองค์ความรู้เฉพาะภายในของ Mozilla โดยใช้เทคนิค embedding และ vector search
- พวกเขาพัฒนาโซลูชันแบบทำเองด้วย Python และไลบรารีหลากหลายตัว
- ในการพัฒนาแชตบอต prompt engineering มีความสำคัญต่อการให้บริบทและปรับปรุงคำตอบ
- system prompt และ context window มีความสำคัญต่อความสามารถของแชตบอตและบริบทของบทสนทนา
- LangChain เป็นเครื่องมือ orchestration ชั้นนำในพื้นที่ของ language model แต่ก็อาจซับซ้อนในการเรียนรู้และใช้งาน
- สามารถใช้ UI แชตบอตโอเพนซอร์สอย่าง chatbot-ui และ Companion เพื่อสร้างฟรอนต์เอนด์ของ language model ได้
- Mozilla ได้พัฒนาต้นแบบแชตบอตที่สะท้อนคุณค่าขององค์กรและโฮสต์อย่างปลอดภัยภายในองค์กร
- แชตบอตโอเพนซอร์สยังคงอยู่ระหว่างการพัฒนา และยังมีความท้าทายในการประเมินโมเดลและเลือกตัวเลือกที่เหมาะสม
- Mozilla กำลังพยายามทำให้นักพัฒนาเข้าร่วมในระบบนิเวศแมชชีนเลิร์นนิงโอเพนซอร์สและมีส่วนร่วมกับชุมชนได้ง่ายขึ้น
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News