XrayGPT: การสรุปภาพเอกซเรย์ทรวงอกด้วยโมเดลวิชัน-ภาษา (VLM) ทางการแพทย์
(github.com/mbzuai-oryx)- งานวิจัยสำหรับการวิเคราะห์ภาพเอกซเรย์ทรวงอกโดยอัตโนมัติ
- ปรับจูน Vicuna LLM เพิ่มเติมด้วยข้อมูลทางการแพทย์ (บทสนทนาจริงระหว่างผู้ป่วยกับแพทย์ 100,000 รายการ) และบทสนทนาด้านรังสีวิทยา 30,000 รายการ
- สร้างสรุปเชิงสนทนาที่กระชับและเป็นระเบียบ (~217k) จากชุดข้อมูลรายงานรังสีวิทยาแบบข้อความฟรี (MIMIC-CXR และ OpenI) เพื่อเพิ่มประสิทธิภาพของ LLM
- จัดแนว Frozen Medical Visual Encoder (MedClip) เข้ากับ LLM (Vicuna) ที่ผ่านการปรับจูนแล้ว (โดยใช้ Simple Linear Transformation)
1 ความคิดเห็น
ถ้ามีภาพเอกซเรย์ทรวงอก ก็สามารถลองเดโมได้ด้วยตัวเองเหมือนกันนะครับ