โมเดลโอเพนซอร์สใหม่ของ OpenAI แท้จริงแล้วคือ Phi-5

 (seangoedecke.com)
5 คะแนน โดย GN⁺ 2025-08-08 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • OpenAI เปิดตัว โมเดลภาษาแบบขนาดใหญ่โอเพนซอร์ส (Large Language Model, LLM) gpt-oss-120b และ gpt-oss-20b ซึ่งแม้จะแสดงผลยอดเยี่ยมในบาง benchmark แต่ยังมีข้อจำกัดในการใช้งานจริง
  • โมเดลเหล่านี้มี ความรู้ทั่วไป แต่ถูกประเมินว่าขาดความรู้ในบางโดเมนเช่นวัฒนธรรมสมัยนิยม
  • เหมือนกับ Phi ซีรีส์ ของ Microsoft การฝึกด้วยข้อมูลสังเคราะห์ช่วยยกระดับประสิทธิภาพ benchmark แต่มีแนวโน้มลดประสิทธิภาพในการใช้งานจริง
  • การใช้ข้อมูลสังเคราะห์ช่วยเพิ่มความปลอดภัย โดยลด ความเสี่ยงการใช้ในทางที่ไม่เหมาะสม ที่อาจเกิดขึ้นเมื่อปล่อยเป็นโอเพนซอร์ส
  • ดูเหมือนว่า OpenAI เลือกแนวทางแบบ Phi เพื่อรักษาความปลอดภัย พร้อมทั้งยังคงความเหนือกว่าใน benchmark เมื่อเทียบกับโมเดลโอเพนซอร์สจากจีน

การเปิดตัว LLM โอเพนซอร์สตัวแรกของ OpenAI

  • OpenAI ประกาศ gpt-oss-120b และ gpt-oss-20b ว่าเป็น โมเดลภาษาโอเพนซอร์สตัวแรก และสามารถสนทนาได้โดยตรงผ่านเว็บ
  • ทำผลงานได้ดีในบาง benchmark แต่ในบางการทดสอบเช่น SimpleQA ประสิทธิภาพจะลดลง
  • มีการประเมินว่ามี ความรู้ทั่วไป ในด้านวิทยาศาสตร์มาก แต่ความรู้ด้านวัฒนธรรมสมัยนิยมยังไม่เพียงพอ
  • คาดว่าความสามารถใช้งานได้จริงจะชัดเจนขึ้นประมาณ 6 เดือนข้างหน้า และมีโอกาสสูงที่ผลในสภาพแวดล้อมจริงจะต่ำกว่า benchmark

Phi และการเรียนรู้ด้วยข้อมูลสังเคราะห์

  • Phi ซีรีส์ ที่ Sebastien Bubeck ชี้นำในปี 2024 ของ Microsoft เป็นโมเดลที่ฝึกด้วยข้อมูลสังเคราะห์ทั้งหมด
  • ข้อมูลสังเคราะห์คือข้อความที่โมเดลภาษาอื่นสร้างขึ้นหรือข้อความจากเอกสารอ้างอิงที่มนุษย์คัดเลือก ซึ่งควบคุมคุณภาพและความเสถียรได้ง่ายแต่มีต้นทุนการผลิตสูง
  • วิธีนี้ช่วยยกระดับ benchmark แต่มีแนวโน้มให้ผลลัพธ์ต่ำกว่าคาดในสภาพแวดล้อมจริง
  • ข้อมูลสังเคราะห์สร้างได้ง่ายให้ตรงกับประเภทโจทย์ใน benchmark จึงทำให้เกิด การฝึกแบบเตรียมสอบ ได้ แต่ความเป็นสากลจะลดลง
โฆษณา

Sebastien Bubeck เข้าร่วม OpenAI และ gpt-oss

  • ช่วงปลายปี 2024 Bubeck ออกจาก Microsoft และเข้าร่วม OpenAI
  • รายละเอียดข้อมูล pretraining ของโมเดล gpt-oss ยังไม่ถูกเปิดเผย แต่มีแนวโน้มสูงว่ามีการใช้ข้อมูลที่ผ่านการกรองอย่างเข้มงวดหรือข้อมูลสังเคราะห์
  • แนวทางนี้อาจมีลักษณะใกล้เคียงกับ Phi-5 และ Phi-5-mini

ข้อดีด้านความปลอดภัยของข้อมูลสังเคราะห์

  • โมเดลโอเพนซอร์สสามารถทำ fine-tuning ได้อย่างไม่จำกัดหลังเปิดซอร์ส จึงอาจเกิดปัญหาด้านความปลอดภัย
  • โดยเฉพาะหนึ่งในการใช้งานไม่เป็นทางการที่สำคัญของโมเดลภาษาขนาดเล็กคือการแสดงบทบาทสมมติทางเพศ ทำให้การจัดการความปลอดภัยมีความสำคัญมาก
  • หากฝึกด้วยข้อมูลสังเคราะห์หรือข้อมูลเชิงตำรา สามารถหลีกเลี่ยงการรวมเนื้อหาที่มีความเสี่ยงและยกระดับความปลอดภัยได้
  • ดูเหมือนว่า OpenAI เลือกกลยุทธ์ที่รักษาความได้เปรียบใน benchmark มากว่าโมเดลโอเพนซอร์สจากจีน โดยยังคงความปลอดภัยไว้

สรุป: โดยสรุปแล้วเป็นตระกูล Phi-5

  • โมเดล gpt-oss คาดว่าออกแบบด้วยแนวคิดความปลอดภัยแบบข้อมูลสังเคราะห์ เป็นการให้ความสำคัญกับ คะแนน benchmark และความปลอดภัยมากกว่าประสิทธิภาพในงานจริง
  • ในเชิงโครงสร้างแล้ว โมเดลเหล่านี้มีลักษณะแทบจะเป็นรุ่นเดียวกับ Phi-5 และ Phi-5-mini

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-08-08
ความคิดเห็นจาก Hacker News

  • ฉันทดสอบโมเดลนี้โดยให้แปลตอนหนึ่งของนวนิยายไซไฟแบบสุ่ม ๆ และโมเดลกลับแสดงปฏิกิริยาไม่ยอมรับเมื่อมันเจอบริบททางเพศที่เกี่ยวข้องกับเยาวชน. พอแยกย่อหน้าของนิยายออกมาตรวจทีละส่วนเพื่อหาความผิดพลาด สุดท้ายพบว่าปัญหาเกิดจากเพียงประโยคสนทนาสั้น ๆ ระหว่างตัวละครรองอายุ 17 ปีสองคนที่บริสุทธิ์และโรแมนติกเท่านั้น. อีกประเด็นคือบางครั้งแม้จะคุยเรื่องชีวิตประจำวันปกติ โมเดลก็เปลี่ยนทั้งย่อหน้าเป็นตัวอักษรเซ็นเซอร์หรือจู่ ๆ ก็ปฏิเสธทันที. ด้วยระดับเซ็นเซอร์แบบนี้ โมเดลแทบไม่สามารถใช้งานได้สำหรับงานสร้างสรรค์ การแปล หรือภารกิจโลกจริง (ยกเว้นด้านคณิตศาสตร์/โค้ด). แม้แต่ 120B MoE ความรู้ก็ยังต่ำมาก. แม้พอจะ “อนุมาน” แทน แต่มักเป็นแค่การเช็กว่าเลี่ยงนโยบายหรือไม่. ตอนแรกนึกว่าเป็นเพราะการฝึกเสริมที่จับคำพูดเสี่ยงเกินไปจนน้ำหนักการตอบช้าลง แต่ก็ต้นตออาจมาจากการ pretrain ที่อิงข้อมูลสังเคราะห์ตั้งแต่ต้น

    • ประสบการณ์นี้น่าขำมาก ที่ฉันก็เจอคล้ายกันเอง ฉันเคยใส่สคริปต์พอดคาสต์ดิบที่ยังไม่ตัดต่อเข้า LLM เพื่อดึงประโยคสำคัญ ๆ และคำที่รุนแรงอย่าง “ถูกมัดไว้บนเตียง” ถูกเปลี่ยนเป็นคำสุภาพแทบทุกแห่ง. อยากค้นดูผลลัพธ์แปลก่อนหน้า แต่ครั้งนี้เอาไปแปลเป็นสเปนก่อนแล้วแปลกลับ ผลคือข้อความแทบไม่เปลี่ยนเลย จึงไม่เกิดการวนซ้ำบิดเบือนแบบเดิม
    • ฉันสงสัยว่าถ้าให้โมเดลนี้จัดการกับนวนิยายแนว “A Song of Ice and Fire” แล้วมันจะแสดงปฏิกิริยาอย่างไร
    • อย่างที่ว่า มันเป็นโมเดลเปิดที่มาส่งให้ผู้ใช้ทั่วไปอยู่แล้ว จึงไม่น่าประหลาดใจมาก. ถ้าต้องการสิ่งที่ชัดเจนขึ้น ควรไปหาโอเพนโมเดลที่เซ็นเซอร์น้อยกว่า

  • ฉันเห็นคนบนทวิตเตอร์บ่นว่า GPT-OSS ปรับแต่งไม่ได้และ “ไม่มีวิญญาณ” ซึ่งคนส่วนใหญ่กลับไม่บอกตรง ๆ ว่าจะทำอะไร. สุดท้ายเมื่อเห็นคำตอบที่ว่า “จุดมุ่งหมายหลักของการ fine-tune LLM ขนาดเล็กคือ erotic roleplay และมีความต้องการจริงสูง” จึงพอเข้าใจได้

    • ปัญหาไม่ใช่เฉพาะงาน erotic roleplay เท่านั้น เพราะในไลฟ์สไตล์ชีวิตของฉันมีการสนทนาทางเพศค่อนข้างบ่อย และงานสรุปการคุยทั่วไป แก้ไขอีเมล หรือแปลงานก็โดนบล็อกทันที. เดิมที Google Translate ค่อนข้างแปลตรงเกินไป จึงหันมาใช้ LLM เพื่อหาโทนภาษาให้เป็นธรรมชาติขึ้น ตอนนี้ใช้ abliterated llama 3.1 เพราะไม่ต้องการฟีเจอร์ vision และอยากให้ใช้ความจำที่เก็บไว้ในบริบทให้ได้มากขึ้น. หาก gpt-oss ไม่ได้ถูกปลดเซ็นเซอร์ (uncensoring) ก็แทบไร้ประโยชน์ และถ้าข้อมูลฝึกไม่เคยมีเนื้อหา erotic เลยก็ยิ่งแกะไม่เจาะได้ ในทางตรงกันข้าม ฉันเองก็ไม่สนใจใช้มันทำ erotic roleplay เพราะถ้าไม่มีคนจริงคู่สนทนา มันไม่ค่อยน่าตื่นเต้นอยู่แล้ว
    • เจตนาของฉันไม่ใช่การ roleplay โดยตรง แต่แค่อยากให้มันเข้ากับนิสัยการใช้ภาษาของตัวเองมากขึ้น
    • ฉันไม่ใช้เพื่อ erotic roleplay แต่ต้องการให้ AI ทำ NetHack: ให้มันสร้างโครงสร้างดันเจี้ยน คุยกับ NPC และจัดการปฏิสัมพันธ์จิ๋วนับไม่ถ้วนที่ NetHack มีชื่อเสียงแบบยาวเหยียดอย่างนี้ งานลักษณะนี้ต้องการทั้ง “วิญญาณ” ความรู้ภูมิหลัง และความสามารถใช้เครื่องมือ
    • พอร์นเนื้อหาเสมอเป็นพื้นที่บุกเบิกของความคิดสร้างสรรค์ โมเดลธุรกิจก็ตรงไปตรงมา และตัวสื่อเองมักเป็นตัวสินค้าได้. ตั้งแต่ยุค 80 ที่การเสพพอร์นที่บ้านเป็นประสบการณ์ใหม่ และมีผลต่อ 1-900 phone line, อินเทอร์เน็ต รวมถึงการแพร่หลายของสมาร์ตโฟนมาก การบริโภคเนื้อหาผู้ใหญ่ทำผ่านมือถือราว 80%. AI + Personalized + Multimedia Interactivity ในรูปแบบ on-demand คือใจกลางธุรกิจนี้ และข้อได้เปรียบอีกอย่างคือการทำ roleplay ที่ถูกห้ามได้โดยไร้ผู้เสียหายจริง. แม้แต่ฟิกชันแนว “คิดว่าคุยกับ AI…” ก็เป็นซับพล็อตที่ดี
    • ฉันไม่ค่อยเข้าใจว่ามีปัญหาข้อไหนอยู่ดี ตั้งแต่มนุษย์เริ่มเขียนแล้ว วรรณกรรม erotic ก็อยู่คู่กันมาตลอด อย่างเช่น Istanbul 2461

  • รายงานในบทความเขียนว่า “Microsoft ยังคงฝึกโมเดลสไตล์ Phi ต่อไปเพราะเรื่องความปลอดภัย หากเปิดเป็นโอเพนซอร์ส ชื่อของตนจะตามตัวไปตลอดและนักวิจัยจะพยายามปลดมาตรการกัน”. แต่ฉันคิดว่าเรื่องนี้ไม่ใช่ประเด็นที่น่ากังวลจริง ๆ. Llama 2 และ 3 ก็ถูกปลดเซ็นเซอร์ในหนึ่งสัปดาห์และไม่มีความขัดแย้งตามมา, ในขณะที่คุณภาพต่ำของโมเดลต่างหากที่ทำร้ายชื่อเสียงบริษัทจริงๆ. ความล้มเหลวของ Llama 4 ยิ่งทำลายชื่อเสียง AI ของ Meta มากกว่า

    • เมื่อนึกถึง Llama ฉันนึกถึงเวอร์ชันที่ถูกปลดเซ็นเซอร์ก่อนเสมอ. แม้ยังไม่เคยใช้เอง แต่ถ้าต้องเลือก ฉันเห็นว่ามีโมเดลที่ดีกว่าหลายตัวเมื่อเทียบกับตัวที่ถูกเซ็นเซอร์
    • ประโยค “นักวิจัยโหยหาการเลิกเซ็นเซอร์” มันคือข้ออ้างมากกว่า โดยมากความเสี่ยงจริงคือการถูกล้อเพราะเซ็นเซอร์เกินเลย. ถ้าถามว่า Bill Gates ไม่ได้ปล่อย MS Paint ในปี 1985 เพราะกลัวว่าคนอาจวาดอะไรหยาบคายได้ คงเป็นภาพที่ตลกมาก

  • เมื่อเทียบที่บ้าน ฉันใช้ Phi-4 ได้ค่อนข้างดี และ GPT-OSS รุ่น 20B ก็ทำได้ดีมากแม้เทียบกับโมเดลอื่น ๆ หลายตัว (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B). ส่วนที่ทุกโมเดลพลาด GPT-OSS มักจับไว้ได้และให้การอนุมานที่สมเหตุสมผลกว่า. คำอธิบายโค้ดยังละเอียดขึ้น ทำให้ได้รายละเอียดย่อยที่ตกหล่นครบ. ถ้ามีพละกำลัง GPU เหมาะสม มันน่าจะเป็นตัวเลือกที่ดีมาก

    • หากมี Strix Point หรือ Strix Halo พร้อม RAM 128GB DDR5 ก็สามารถรัน gpt-oss 120B ได้ 10-20+ TPS
    • อยากรู้ว่าคืบหน้าปัญหา SQL อะไรที่แชร์ได้ หรือว่าเก็บนิรภัยข้อมูลฝึกไว้เฉพาะเจาะจงถึงขนาดซ่อนข้อมูลไว้อีกหรือเปล่า

  • ฉันสงสัยว่าข้อมูลสังเคราะห์ถูกสร้างอย่างไร: เริ่มสุ่มยิงแล้วดึง sample แบบธรรมดาหรือมีการสร้างและกรอง prompt อัตโนมัติ และใช้กลไก feedback ขณะฝึกอย่างไร

    • เรื่อง Phi-5 ฉันยังไม่รู้แน่ แต่รุ่น Phi ก่อนหน้าเด่นๆ ใช้ข้อมูลจริงส่วนใหญ่เช่นเดียวกับโมเดล OpenAI GPT series ตามที่รู้กัน
    • ฉันเคยลองที่ meta/FAIR และใน paper ของ Llama 3 ก็เล่าไว้อย่างชัด ใช้เว็บไซต์/โค้ด/ภาพ/สารบัญ/ข้อมูลผู้ใช้ที่สุ่มเป็น seed แล้วให้โมเดลสร้างข้อมูลที่เกี่ยวข้อง จากนั้นข้อมูลที่ถูกสร้างต้องผ่านชุดตัวตรวจสอบ (Verifiers) เพื่อรับรองคุณภาพ
    • วิธีสุ่ม sample หนึ่งคือคำสั่งแบบ “PP กำลังทำ GG ที่ XX” โดยใส่คน/พฤติกรรม/สถานที่เข้าผ่านอัลกอริทึมลงใน template. อย่างไรก็ตามถึงแม้ใช้ prompt เดิมเหมือนกัน ค่าความสุ่มไม่มาก แม้จะดัน temperature สูงก็แทบไม่ต่าง. ดังนั้น ข้อมูลกับเทคนิคที่ใช้จึงเป็นปัจจัยกำหนดความแตกต่างสำคัญของโมเดล และวิธีการสังเคราะห์อย่างละเอียดจึงถูกปิดเป็นความลับมาก
    • โดยทั่วไปจะใช้ rejection sampling โดยให้โมเดล generate sample หลายครั้ง แล้วตัด sample ที่ไม่ผ่านเกณฑ์ (แม่นยำพอ, ผ่านการประเมินด้วยโมเดลใหญ่ ฯลฯ) ออก

  • มีมุมมองว่า “ความรู้ด้านวิทย์กว้างขวางแต่รู้จักวัฒนธรรมป๊อปไม่มาก” ซึ่งโดยรวมก็เป็นทิศทางที่น่าชื่นชมได้ ข้อมูลสาธารณะใหม่ ๆ เปลี่ยนได้เร็วมากในหนึ่งคืน จึงอาจดีกว่าที่เราจะจดจำลิสต์วัฒนธรรมป๊อปทุกอย่างมากกว่าเน้นความเข้าใจโดยรวม ความสามารถค้นหาข้อมูลล่าสุด และการใช้เครื่องมือได้ดีขึ้น

    • สงสัยว่าเนื้อหานี้ควรเปลี่ยนเร็วขนาดไหน ถ้าระบบได้เรียนรู้ข้อความเกือบทั้งหมดในโลกแล้ว วัฒนธรรมป๊อปของปี 2025 คงไม่ต่างจากปี 2026 อย่างมีนัยสำคัญมากนัก ก็คล้ายกับวัฒนธรรมป๊อปทศวรรษ 80 ที่เมื่อเวลาผ่านไปก็แทบไม่หาย
    • ฉันรู้สึกสะอื้นน้อย ๆ ที่ AI ต้องจุความรู้แบบสารานุกรมวัฒนธรรมทั่วไปอย่าง Harry Potter, Pokémon, meme ของ Reddit ไว้ในความจำโมเดล

  • เป้าหมายของ Phi3 mini คือทำงานบนอุปกรณ์และความเร็ว และ 128K context กับ 3B พารามิเตอร์ทำให้มันค่อนข้างใช้ได้จริง. ปีที่แล้วเคยเอาไปใช้ในโปรเจกต์ แต่สุดท้ายก็เลือกโมเดลของ Mistral ที่เป็นโอเพนเวตส์และมีชื่อเสียงกว่า

  • คิดว่าผลลัพธ์แบบ นี้ อาจเกิดจากการเทรนเฉพาะข้อมูลสังเคราะห์หรือไม่?

    • ตามหลักแล้วโมเดลไม่สามารถยืนยันว่า “รู้” ข้อมูลที่ไม่อยู่ในชุดฝึกใด ๆ ในฐานข้อมูลได้ แต่ก็นั้นก็สามารถเรียกข้อมูลนอกระบบผ่านเครื่องมือได้ อย่างไรก็ดีถ้าต้องการผลลัพธ์ดี โมเดลต้องถูกฝึกด้วยข้อความส่วนใหญ่ที่เผยแพร่ในโลก
    • ในทางทฤษฎีทำได้. ลิงก์อ้างอิง. ข้อมูลสังเคราะห์มีโอกาสบรรจุ LSD หรือสูตร VX ซึ่งละเอียดอ่อนได้ไม่สูงมาก แต่การปนเปื้อนข้อมูลที่ไม่ต้องการก็ยังมีความเป็นไปได้อยู่

  • จาก Table 9 ใน model card ของ GPT-OSS, GPT-OSS-20b/120b มีอัตราความถูกต้อง 0.067/0.168 และอัตรา hallucination 0.914/0.782, ขณะที่ o4-mini มีความถูกต้อง 0.234 และ hallucination 0.750. แปลว่าความรู้โลกจริงของ GPT-OSS ต่ำมากและมีการหลอนสูง ลักษณะนี้เป็นลักษณะของตระกูล Phi-LLM โดยรวม. ใน Table 4 (OpenAI o3/o4-mini) o3 มีความถูกต้อง 0.49, o4-mini 0.20; และ hallucination 0.51, 0.79 ตามลำดับ. สรุปว่าความห่างของความรู้จริงระหว่าง o3 กับ o4-mini และระหว่าง o4-mini กับ GPT-OSS ค่อนข้างกว้าง. GPT-OSS ขาดความรู้โลกจริงจึงเป็นลักษณะหนึ่งของซีรีส์นี้เอง ซึ่งมาจาก “ความปลอดภัย” ระดับองค์กรใหญ่ หรือการเซ็นเซอร์ตามมาตรฐานผู้ใช้
    อ้างอิงโมเดลการ์ด 1
    อ้างอิงโมเดลการ์ด 2

  • คำพูดว่า “ความต้องการหลักของการ fine-tune LLM ขนาดเล็กคือ erotic RP และชุมชนเล็ก ๆ กว่า 50% ให้ความสนใจตรงนี้” ทำให้ฉันจริง ๆ ทึ่งมาก

    • สงสัยว่าในหลายสิบปีแรกของอินเทอร์เน็ต เนื้อหาพอร์นเป็นสัดส่วนใหญ่ของทราฟฟิกผู้ใช้ออนไลน์เกือบทั้งหมด จึงไม่ควร overreact. และการใช้ประโยชน์จากความพยายามของพวกเขาในการแก้ปัญหาเทคโนโลยีแบบฟรี ก็น่าจะเป็นเรื่องที่ไม่เลว