รายละเอียดของ GPT-4 หลุด?

 (threadreaderapp.com)
2 คะแนน โดย GN⁺ 2023-07-12 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ความเป็นไปได้ที่รายละเอียดของ GPT-4 จะหลุดออกมา
  • ข้อมูลที่หลุดออกมาชี้ว่า GPT-4 น่าจะมีความสามารถขั้นสูง
  • คาดว่า GPT-4 จะมีความสามารถด้านการประมวลผลและความเข้าใจภาษาธรรมชาติที่ดีขึ้น
  • รายละเอียดที่หลุดออกมายังกล่าวถึงความสามารถในการเข้าใจบริบทและการให้เหตุผลที่ดีขึ้น
  • มีข่าวลือว่า GPT-4 จะมีขนาดโมเดลใหญ่ขึ้น ซึ่งอาจช่วยให้ประสิทธิภาพดีขึ้น
  • ข้อมูลที่หลุดออกมาสร้างความสนใจในหมู่ผู้ที่เชี่ยวชาญด้านเทคโนโลยี
  • บทความนี้พูดถึงผลกระทบที่อาจเกิดขึ้นจาก GPT-4 ต่ออุตสาหกรรมและการใช้งานที่หลากหลาย
  • ยังไม่ทราบว่า GPT-4 จะเปิดตัวอย่างเป็นทางการเมื่อใด
  • รายละเอียดที่หลุดออกมาจุดกระแสการคาดเดาและความคาดหวังในหมู่วิศวกรซอฟต์แวร์และผู้หลงใหลเทคโนโลยี

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-12
ความเห็นจาก Hacker News
  • แหล่งที่มาต้นฉบับของรายละเอียด GPT-4 ที่รั่วไหลคือโพสต์บล็อกบน semianalysis.com
  • ผู้ใช้ Twitter ที่แชร์รายละเอียดดังกล่าวดูเหมือนจะเป็นการเรียบเรียงเนื้อหาจากโพสต์บล็อกใหม่ ซึ่งทำให้ทวีตถูกลบ
  • MoE (Mixture of Experts) ที่ใช้ใน GPT-4 น่าสนใจ และอาจอธิบายความผันผวนของคุณภาพเอาต์พุตได้
  • แม้โมเดลวิชันของ GPT-4 จะยังไม่ถูกเปิดเผย แต่ก็น่าคาดหวัง
  • การฝึก GPT-4 ต้องใช้ 21 yottaFLOPS ซึ่งถือเป็นความสำเร็จด้านการประมวลผลอย่างมาก
  • ต้นทุนการฝึก GPT-4 ลดลงเหลือ 1/3 เมื่อเทียบกับปีก่อน ซึ่งเป็นข่าวดีสำหรับโอเพนซอร์ส
  • มีการคาดเดาว่าคุณภาพของ GPT-4 ลดลงเพราะยอมรับลำดับที่มีความน่าจะเป็นต่ำจากโมเดล speculative decoding
  • Google กำลังศึกษาการใช้ mixture of experts เพื่อขยายภาษาโมเดล และโมเดล GLaM มีพารามิเตอร์ 1.7 ล้านล้านตัวกับผู้เชี่ยวชาญ 64 ตัว
  • George Hotz กล่าวในบทสัมภาษณ์ว่า GPT-4 มีพารามิเตอร์ 2.2 แสนล้านตัว และเป็นโมเดลผสม 16 โมเดลที่ประกอบด้วยชุดน้ำหนัก 8 ชุด
  • มีความสงสัยว่าด้วยราคา API ที่สูงของ Twitter บริการพรีเมียมอย่าง Thread Reader จะยังสามารถดำเนินต่อไปได้หรือไม่
  • ผู้ใช้บางคนกำลังมองหาลิงก์ทางเลือกเพื่อเข้าถึงรายละเอียดการฝึก GPT-4 ที่รั่วไหลโดยไม่ต้องสมัคร Twitter
  • คนที่รู้ข้อมูลจริงเกี่ยวกับวิธีการทำงานของ GPT-4 มีเพียงพนักงาน OpenAI เท่านั้น ส่วนที่เหลือต้องอาศัยการคาดเดา