ถาม HN: มีใครกำลังทำโปรเจ็กต์เจ๋ง ๆ ด้วย Tiny Language Models บ้างไหม?

 (news.ycombinator.com)
6 คะแนน โดย GN⁺ 2025-01-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เป็นการพูดคุยเกี่ยวกับโมเดลขนาด 0.5B-3B ที่สามารถใช้งานได้บน Ollama
  • เป็นคำถามว่ามีใครสร้างเครื่องมือเจ๋ง ๆ ที่ใช้โมเดลเหล่านี้เป็นส่วนหนึ่งของเวิร์กโฟลว์การทำงานหรือไม่

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-01-22
ความคิดเห็นจาก Hacker News

  • ตั้งค่า ollama ให้ตอบกลับข้อความสแปมทาง SMS โดยกำหนดบุคลิกให้แต่ละเบอร์ เช่น เพื่อนยิมสายมิลเลนเนียล หรือสุภาพบุรุษอังกฤษศตวรรษที่ 19

  • ใช้โมเดล Llama เพื่อระบุแบนเนอร์คุกกี้ของเว็บไซต์และเพิ่มกฎตัวกรองลงใน EasyList Cookie แบนเนอร์คุกกี้ส่วนใหญ่มี HTML/CSS คล้ายกัน จึงสามารถดึง innerText มาใช้กับ LLM ขนาดเล็กเพื่อคัดกรองผลบวกลวงได้ โมเดล 3B ให้ประสิทธิภาพใช้ได้ด้วยการทำ prompt engineering ที่ดีพอ ส่วน 7B แทบไม่มีผลบวกลวงโดยไม่เพิ่มต้นทุน สามารถดูโค้ดและพรอมป์ต์ได้บน GitHub

  • ใช้มินิพีซีที่มี CPU n100 เพื่อสร้างเรื่องราวหลากหลายแนวและสไตล์ พัดลม CPU ไม่ร้อนเกินไป ไม่ได้ก่อให้เกิดประสิทธิผลมากนักแต่สนุกดี

  • ใช้สคริปต์ fish ขนาดเล็กเพื่อสร้างข้อความ commit สามแบบจาก git diff ปัจจุบัน กำลังทดสอบหลายโมเดลอยู่ และมีประโยชน์เวลาต้องการไอเดีย สามารถดูสคริปต์และตัวอย่างได้บน GitHub

  • มีอุปกรณ์เล็ก ๆ ที่พยายามประกาศว่าใครเป็น "ผู้ชนะ" ระหว่างการสนทนา

  • แนะนำบรรยาย "Comedy Writing With Small Generative Models" ของ Jamie Brew ควรรอดูจนถึงตอนที่เขาหยิบกีตาร์ขึ้นมาเล่น

  • Microsoft เปิดตัวโมเดล FLAME (60M พารามิเตอร์) ซึ่งทำได้ดีกว่าโมเดลที่ใหญ่กว่ามาก (มากกว่า 100B พารามิเตอร์) ในงานซ่อม/เติมสูตร Excel

  • Micro Wake Word เป็นชุดไลบรารีและโมเดลสำหรับอุปกรณ์ที่ปลุกด้วยเสียงบน ESPs เพิ่งถูกนำไปใช้กับตัวแทน Alexa แบบโลคัลทั้งหมดของ Home Assistants

  • ปรับจูน Gemma 2B เพื่อระบุข้อความเร่งด่วนจากหญิงตั้งครรภ์รายใหม่ในสายด่วนให้คำปรึกษาสุขภาพมารดาที่ดำเนินการโดยรัฐบาล

  • สร้างโมเดลราว 1m พารามิเตอร์เพื่อสุ่มสร้างการ์ด Magic the Gathering โดยอิงจาก nanogpt ของ Karpathy และเพิ่มความสามารถบางอย่างเข้าไป หากมี Mac ที่ใช้ Apple Silicon ก็สามารถสร้างโมเดลจาก GitHub ได้โดยตรง