SuperGemma4 - โมเดล Gemma 4 26B แบบไม่เซ็นเซอร์/เร็วขึ้น/ควอนไทซ์จาก Google

 (huggingface.co)
40 คะแนน โดย xguru 14 일 전 | 8 ความคิดเห็น | แชร์ทาง WhatsApp
  • โมเดลข้อความล้วนที่ปรับแต่ง Gemma 4 26B IT ให้เหมาะกับ Apple Silicon MLX และควอนไทซ์แบบ 4 บิต ขนาดประมาณ 13GB
  • ฉลาดกว่าต้นฉบับ, เร็วกว่าในเครื่องเดียวกัน, และเป็น โมเดลไม่เซ็นเซอร์ที่เสถียรสำหรับโค้ด·การใช้เครื่องมือ·ภาษาเกาหลี
  • เป็นเรือธงแบบข้อความล้วน โดยโฟกัสที่ การประมวลผลข้อความอย่างรวดเร็ว ไม่ใช่มัลติโหมด
  • ปรับปรุงเป็นคะแนน Quick Bench 95.8 (ต้นฉบับ 91.4) และ ความเร็วในการสร้างเพิ่มขึ้น 8.7% (46.2 tok/s) ทำให้เวลารอคำตอบลดลงอย่างชัดเจนในการใช้งานจริง
  • ยังคงรักษาคุณสมบัติหลักแบบ ไม่เซ็นเซอร์ (uncensored) เอาไว้ พร้อมให้เอาต์พุตที่เสถียรทั้งด้านโค้ด การใช้เครื่องมือ และพรอมต์ภาษาเกาหลี
    • คะแนนการสร้างโค้ด 98.6 (+6.3) ให้ผลลัพธ์ที่แม่นยำกว่าต้นฉบับอย่างมากเมื่อสั่งเขียนหรือรีแฟกเตอร์ฟังก์ชัน Python บนเครื่องโลคัล
    • คะแนนพรอมต์ภาษาเกาหลี 95.0 (+4.3) ถามเป็นภาษาเกาหลีก็ไม่พังและใช้งานได้ทันที
    • ประสิทธิภาพในการประมวลผลภาษาเกาหลีและ พรอมต์สไตล์เอเจนต์ ดีกว่าต้นฉบับ
    • เพราะเป็นโมเดลไม่เซ็นเซอร์ จึง ไม่มีคำตอบที่ถูกบล็อกด้วยตัวกรองคอนเทนต์เลย ขณะเดียวกันเอาต์พุตก็ไม่ไม่เสถียรหรือเสียหาย
  • นำไปใช้กับ เวิร์กโหลด/ไปป์ไลน์เอเจนต์แบบโลคัล ได้ทันที เช่น การทำงานอัตโนมัติบนเบราว์เซอร์ การเรียกใช้เครื่องมือ และการวางแผน
  • วิธีรัน:
    • mlx_lm.server --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 --port 8080
    • รองรับการเสิร์ฟแบบเข้ากันได้กับ OpenAI โดยอัตโนมัติ ไม่ต้องตั้งค่าเทมเพลตเพิ่ม (และถ้าใส่พาธใน --chat-template กลับทำให้คำตอบเสีย)
  • MLX 4-bit, BF16·U32 tensor, ฟอร์แมต Safetensors

บทความที่เกี่ยวข้อง

8 ความคิดเห็น

 
kohs100 12 일 전

ก่อนหน้านี้ผมใช้งาน Heretic 31b ที่อยู่บน Hugging Face อยู่ อันนี้ก็คงต้องลองเหมือนกันครับ
 
jjangdww 13 일 전

ผมก็คงต้องลองดูสักครั้งเหมือนกัน
ขอบคุณสำหรับข้อมูลดี ๆ ครับ
 
asdfg 13 일 전

อันนี้ไลเซนส์ต่างจาก gemma4 ต้นฉบับนะ
 
fanotify 13 일 전

จริงด้วย ไม่ใช่ Apache 2.0 นี่นา
 
caniel 12 일 전

ในแท็บใบอนุญาตมีลิงก์ไปที่ Gemma 4 อยู่ อยากทราบว่าตรวจสอบได้จากที่ไหนครับ?
 
adieuxmonth 14 일 전

สุดยอดมาก มากๆ
 
sea715 14 일 전

ฮ่า ๆ น่าสนใจดีนะ เป็นโมเดลที่ชุมชนในประเทศทำขึ้นมาเอง