โมเดลข้อความคาดเดาแบบใหม่ของ Apple ที่ใช้ 'Transformer'

 (jackcook.com)
15 คะแนน โดย GN⁺ 2023-09-18 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Apple ประกาศฟีเจอร์ใหม่ใน iOS และ macOS ที่ใช้โมเดลภาษาแบบทรานส์ฟอร์เมอร์ เพื่อแนะนำข้อความคาดเดาขณะผู้ใช้กำลังพิมพ์
  • นี่เป็นหนึ่งในโมเดลที่อิงทรานส์ฟอร์เมอร์รุ่นแรก ๆ ที่ Apple ยอมรับอย่างเปิดเผย และมีแผนจะผนวกเข้ากับระบบปฏิบัติการ
  • ฟีเจอร์นี้คล้ายกับการเติมข้อความอัตโนมัติของ Gmail โดยสามารถเติมคำเดี่ยวให้สมบูรณ์ และบางครั้งก็แนะนำได้มากกว่าสองคำในครั้งเดียว
  • พบโมเดลข้อความคาดเดานี้ใน AppleSpell ซึ่งเป็นแอปพลิเคชันภายในของ macOS ที่ตรวจสอบการสะกดและไวยากรณ์ขณะผู้ใช้พิมพ์
  • โมเดลนี้อยู่ใน /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle ซึ่งมีไฟล์โมเดล Espresso หลายไฟล์ที่ใช้ระหว่างการพิมพ์
  • คำศัพท์ของโมเดลข้อความคาดเดาประกอบด้วยโทเค็น 15,000 รายการ รวมถึงโทเค็นพิเศษ คำย่อ และอีโมติคอน
  • โครงสร้างของโมเดลข้อความคาดเดาดูเหมือนจะอิงกับ GPT-2 โดยมี token embedding, positional encoding, ชุดของ decoder blocks และชั้นเอาต์พุต
  • โมเดลข้อความคาดเดาของ Apple มีพารามิเตอร์ราว 34 ล้านตัว และมี hidden units 512 หน่วย ซึ่งเล็กกว่า GPT-2 เวอร์ชันที่เล็กที่สุดมาก
  • ด้วยขนาดที่เล็ก โมเดลจึงสามารถทำงานได้รวดเร็วและบ่อยครั้งโดยไม่กินแบตเตอรี่ของอุปกรณ์มาก ช่วยยกระดับประสบการณ์ผู้ใช้
  • ข้อจำกัดด้านขนาดทำให้โมเดลยังไม่เก่งพอที่จะเขียนทั้งประโยคหรือย่อหน้า แต่เมื่อมีความมั่นใจสูงกับคำถัดไปหรือสองคำถัดไป ก็เพียงพอสำหรับการนำเสนอเป็นคำแนะนำแก่ผู้ใช้
  • สำหรับผู้ที่อยากลองฟีเจอร์ข้อความคาดเดาด้วยตนเอง ผู้เขียนได้เผยแพร่สคริปต์ไว้บน GitHub

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-09-18
ความคิดเห็นจาก Hacker News
  • ผู้เขียนโพสต์ประหลาดใจที่บทความของตนได้รับความนิยมบน Hacker News และระบุว่าจะมาตอบคำถามเกี่ยวกับเรื่องนี้
  • ผู้ใช้บางคนตั้งคำถามว่าโมเดลคาดเดาข้อความแบบใหม่ของ Apple เหนือกว่า GPT2 หรือไม่ โดยโมเดลหลังมีแนวโน้มจะสร้างข้อความที่ไม่เกี่ยวข้องจากสิ่งที่ผู้ใช้ป้อน
  • มีประเด็นถกเถียงว่าโมเดลคาดเดาข้อความควรสร้างทั้งประโยคหรือไม่ หรือควรเพียงคาดเดาสิ่งที่ผู้ใช้ตั้งใจจะพิมพ์
  • ในการทดสอบไม่ได้กล่าวถึงการตั้งค่า temperature ที่ใช้ควบคุมความน่าจะเป็นของการเลือกโทเค็นที่ไม่ใช่ตัวเลือกทำนายอันดับสูงสุด ซึ่งการตั้งค่านี้อาจส่งผลต่อความสร้างสรรค์และความซ้ำของผลลัพธ์จากโมเดล
  • ผู้ใช้บางคนค้นพบว่า unilm.bundle คือโมเดลคาดเดาข้อความตัวใหม่ โดยสังเกตจาก console log ของ iOS simulator
  • มีการคาดเดาว่าโมเดลของ Apple เวอร์ชันในอนาคตจะเปลี่ยนไปใช้โมเดลขนาดเล็กลงที่ฝึกด้วยข้อมูลคุณภาพสูงกว่า และ Apple จะพัฒนา Copilot เวอร์ชันของตัวเองสำหรับ Xcode หรือไม่
  • ผู้ใช้บางคนชี้ว่า หากเป้าหมายของการคาดเดาข้อความคือการทำให้การป้อนข้อความเร็วขึ้น อินเทอร์เฟซการป้อนข้อมูลเองอาจเป็นคอขวด ซึ่งบ่งชี้ว่าจำเป็นต้องมีวิธีพิมพ์ข้อความให้เร็วขึ้น
  • มีการพูดถึงการนำ AI ไปใช้งาน โดยผู้ใช้บางคนเสนอว่า AI ควรถูกใช้เพื่อทำงานย่อย ๆ ที่เชื่อถือได้ มากกว่าจะขายเป็นโซลูชันแบบ end-to-end
  • มีคำถามว่าโมเดลคาดเดาข้อความใหม่นี้สามารถพัฒนาได้จากประสบการณ์หรือประวัติ iMessage หรือไม่
  • มีการคาดเดาว่าคำว่า UnilmCtrl อาจบ่งชี้ถึงการพึ่งพาโมเดล CTRL ของ Socher แต่ยังไม่ได้รับการยืนยัน และผู้ใช้บางคนกล่าวว่าพวกเขาจะเคารพ Apple มากกว่านี้หากบริษัททำงานด้าน NLP มานานกว่านี้