PaliGemma - โมเดลมัลติโหมดแบบเปิดของ Google
(blog.roboflow.com)- PaliGemma เป็นโมเดลมัลติโหมดที่แสดงประสิทธิภาพโดดเด่นกว่ารุ่น VLM (Vision-Language Model) อื่น ๆ ในงานอย่างการตรวจจับและการแบ่งส่วนวัตถุ
- สามารถทำ fine-tuning เพื่อเพิ่มประสิทธิภาพสำหรับงานเฉพาะได้
- เปิดตัวในงาน Google I/O 2024 โดยเป็นการผสานโมเดลวิชันชื่อ SigLIP เข้ากับโมเดลภาษาขนาดใหญ่ชื่อ Gemma
- ประกอบด้วย transformer decoder และ vision transformer image encoder รับทั้งภาพและข้อความเป็นอินพุต แล้วสร้างข้อความเป็นเอาต์พุต พร้อมรองรับหลายภาษา
- โมเดลมีพารามิเตอร์รวม 3 พันล้านตัว จัดว่าเล็กเมื่อเทียบกัน และอนุญาตให้ใช้งานเชิงพาณิชย์ได้ รวมถึงสามารถทำ fine-tuning สำหรับงานอย่างการสร้างคำบรรยายภาพ/วิดีโอสั้น, visual question answering, การอ่านข้อความ, การตรวจจับวัตถุ และการแบ่งส่วนวัตถุได้
- เป็น VLM แบบ single-turn และทำงานได้ดีที่สุดเมื่อทำ fine-tuning ให้เหมาะกับกรณีใช้งานเฉพาะ
- เหมาะกับงานอย่างการเขียนคำบรรยายภาพ, การเขียนคำบรรยายวิดีโอ, การตอบคำถามจากภาพ และการแบ่งส่วนแบบละเอียด
- แสดงประสิทธิภาพยอดเยี่ยมในงานคอมพิวเตอร์วิทัศน์หลากหลายประเภท เช่น OCR, ความเข้าใจเอกสาร, visual question answering (VQA) และการตรวจจับวัตถุ
- มีประโยชน์สำหรับการสร้างแอปพลิเคชันแบบปรับแต่งเองที่โมเดลปิดทำได้ยาก และยังอยู่ในระดับแนวหน้าทั้งด้านประสิทธิภาพและความคุ้มค่าด้านต้นทุนในงาน OCR
- อย่างไรก็ตาม ด้วยข้อจำกัดของ VLM จึงไม่เหมาะกับปัญหาแบบเปิดที่ซับซ้อนและต้องอาศัยการให้เหตุผลอย่างละเอียดอ่อน อีกทั้งยังไวต่อพรอมป์ต์ จึงต้องใช้งานด้วยความระมัดระวัง
- คาดว่าการเปิดตัว PaliGemma จะช่วยผลักดัน AI แบบมัลติโหมดให้ก้าวหน้าอย่างมาก โดยเป็นโมเดลเปิดน้ำหนักเบาที่เปิดโอกาสให้ทุกคนฝึกและนำส่งโมเดลวิชัน-ภาษาขนาดใหญ่แบบปรับแต่งเองเพื่อการใช้งานเชิงพาณิชย์ได้
- ก่อนหน้านี้ LMM มักมีค่าใช้จ่ายสูงมากและต้องใช้พลังประมวลผลมาก แต่ PaliGemma ช่วยก้าวข้ามข้อจำกัดเหล่านี้ และเป็นโมเดลที่พลิกโฉมการสร้างแอปพลิเคชัน AI แบบปรับแต่งเอง
ยังไม่มีความคิดเห็น