อิมพลีเมนเทชัน TypeScript ของ LLMLingua-2

โปรเจกต์โอเพนซอร์สที่พอร์ต LLMLingua ซึ่งเป็น "ตัวบีบอัดพรอมป์ต์อเนกประสงค์บนพื้นฐาน LLM" ที่ Microsoft พัฒนาขึ้น จาก Python ไปเป็น TypeScript เพื่อให้ใช้งานได้ในสภาพแวดล้อมที่หลากหลายยิ่งขึ้น

LLMLingua คืออะไร?

• GeekNews: "Microsoft LLMLingua - บีบอัดพรอมป์ต์เพื่อเร่งการอนุมานและลดต้นทุน"
• หน้าเว็บไซต์ LLMLingua-2
• ปัจจุบันมีการเผยแพร่อิมพลีเมนเทชันทางการในภาษา Python

อิมพลีเมนเทชัน TypeScript ของ LLMLingua-2

• เดโมบีบอัดพรอมป์ต์ (GitHub Pages)
  • JavaScript + React + Vite
  • ข้อกำหนดสำหรับทดลองเดโม: ต้องใช้เบราว์เซอร์ที่รองรับ WebGPU (เช่น Google Chrome บน Windows/macOS)
• ซอร์สโค้ด: ดูได้ที่ GitHub และ HuggingFace
• แพ็กเกจ (npm): npm install @atjsh/llmlingua-2

ไฮไลต์

• พอร์ตไปป์ไลน์ LLMLingua-2 ที่เดิมเขียนด้วย Python มาเป็น TypeScript ล้วน
• ไลบรารีที่ใช้ในการพัฒนา: js-tiktoken, transformer.js และ TensorFlow.js
• กำลังพัฒนาเพิ่มการรองรับ Node.js อยู่ (แต่สามารถทดสอบได้แล้วตอนนี้)
• โอเพนซอร์สภายใต้สัญญาอนุญาต MIT

ยังอยู่ในระยะเริ่มต้น

• ฟีเจอร์บางส่วน เช่น use_context_level_filter, return_word_label ยังไม่ได้อิมพลีเมนต์
• แม้แต่ฟังก์ชันหลักอย่างการบีบอัดพรอมป์ต์เอง ก็อาจยังมี ส่วนที่อิมพลีเมนต์ผิดพลาดอยู่ เมื่อเทียบกับ LLMLingua-2 ต้นฉบับ...