โมเดลโอเพน 9B ที่ปรับจูนด้วยเงิน 500 ดอลลาร์ แซงหน้าโมเดลฟรอนเทียร์ในการตรวจสอบแคตตาล็อก

• ผลจากการปรับจูนด้วย reinforcement learning ให้กับ โมเดลโอเพนซอร์ส 9B สำหรับตรวจสอบแคตตาล็อกอีคอมเมิร์ซด้วยงบประมาณราว 500 ดอลลาร์ ทำคะแนนได้สูงกว่าการตั้งค่าโมเดลฟรอนเทียร์ทั้งหมดที่ใช้เครื่องมือ·รูปภาพ·ตัวให้คะแนนเดียวกัน
• ใน digital twin ที่สร้างจากเอพิโซดการตรวจสอบ 177,767 รายการ โมเดลทำซ้ำงานอย่างการจัดหมวดหมู่สินค้า การยืนยันแบรนด์ การดึงแอตทริบิวต์ และการตัดสินตามนโยบาย เพื่อเรียนรู้ระบบอนุกรมวิธานและเกณฑ์ตัดสินเฉพาะของบริษัทลงในน้ำหนักของโมเดล
• โมเดลที่ฝึกด้วย GRPO ทำคะแนนได้ 87.3% ของคะแนนสูงสุดที่เป็นไปได้ สูงกว่าการตั้งค่าฟรอนเทียร์อันดับต้นที่ได้ 76.9% ในเชิงสัมพัทธ์ 13.5% และดีขึ้น 36% จากโมเดลฐานที่ไม่ได้ฝึกซึ่งได้ 64.2%
• ต้นทุนอยู่ที่ราว 0.50 ดอลลาร์ ต่อสินค้า 1,000 รายการ ถูกกว่าการตั้งค่าฟรอนเทียร์ที่ถูกที่สุด 40 เท่า และถูกกว่าการตั้งค่าที่แพงที่สุดราว 340 เท่า; ที่ขนาด 40 ล้านรายการต่อวัน จะต่างกันประมาณ 7 ล้านดอลลาร์กับ 500 ล้านดอลลาร์ต่อปี
• เหมาะกับงานปริมาณมากที่ทำซ้ำได้ ซึ่งสามารถตรวจสอบผลลัพธ์ด้วยกฎ·การทดสอบ·rubric ได้ และต้องมีโครงสร้างที่เก็บข้อเท็จจริงที่เปลี่ยนแปลงไว้ในเครื่องมือค้นหา ส่วน วิธีตัดสินเฉพาะของบริษัท ให้โมเดลเรียนรู้

---

รูปแบบการดำเนินงานที่แยกผลลัพธ์ของการลงทุน AI

• หลังการเปิดตัว ChatGPT การใช้ AI ขยายจากงานความเสี่ยงต่ำอย่างสรุปเอกสารและร่างอีเมล ไปสู่การพัฒนาซอฟต์แวร์ การสร้างคอนเทนต์ และแนวคิด สมองของบริษัท (company brain) ที่เชื่อมต่อความรู้·ข้อมูล·เครื่องมือภายใน
• จากข้อมูลลูกค้าของ Ramp บริษัทในกลุ่ม 25% แรกของการใช้จ่ายด้าน AI มีรายได้เพิ่มขึ้นมากกว่า 2 เท่าตั้งแต่พฤศจิกายน 2022 ถึงธันวาคม 2025 ขณะที่บริษัทที่ไม่มีค่าใช้จ่ายด้าน AI เติบโตราว 15% ในช่วงเดียวกัน
• องค์กรที่สร้างผลลัพธ์ได้มักมีรูปแบบการดำเนินงานต่อไปนี้ซ้ำกัน
  • ออกแบบเวิร์กโฟลว์ใหม่: ไม่ใช่แค่เพิ่มโมเดลเข้าไปในขั้นตอนเดิม แต่ต้องออกแบบการอนุมัติ การตรวจทาน การส่งต่อ และจุดที่มนุษย์เข้ามาเกี่ยวข้องใหม่
    • ในการสำรวจองค์กรที่ใช้ generative AI ปี 2025 ของ McKinsey การออกแบบเวิร์กโฟลว์ใหม่มีความสัมพันธ์กับผลกระทบต่อ EBIT สูงที่สุด แต่มีเพียง 21% ขององค์กรที่ออกแบบใหม่อย่างน้อยหนึ่งรายการจริง ๆ
  • ส่งเสริมการทดลอง: เนื่องจากโมเดล เครื่องมือ และ best practice เปลี่ยนเร็ว จึงต้องให้รางวัลไม่เพียงกับการเปิดตัวที่สำเร็จ แต่รวมถึงการทดลองและการแชร์ความล้มเหลวด้วย
  • บริบทงานแบบปรับแต่ง: การเข้าถึงข้อมูล การควบคุมสิทธิ์เข้าถึงตามคำขอ การค้นหาหลักฐานที่เกี่ยวข้อง และการจัดการ context window ที่ยิ่งยาวยิ่งใช้งานได้ไม่สม่ำเสมอ กลายเป็นโจทย์วิศวกรรมแยกต่างหาก
  • วัดการใช้งานและผลกระทบ: หากไม่มีการประเมินให้คะแนนบนข้อมูลของตัวเอง จะพิสูจน์ประสิทธิภาพ ต้นทุนการตัดสินใจ และผลต่อประสิทธิภาพได้ยาก และตัวเลขเวลาที่ประหยัดจากการรายงานด้วยตนเองก็อาจไม่แม่นยำ

วิธี deploy เพื่อ ‘เป็นเจ้าของ intelligence’

• รูปแบบที่พบซ้ำคือการใช้ โมเดลโอเพนซอร์ส ข้อมูลงานเฉพาะของบริษัท และ reinforcement learning บนเวิร์กโฟลว์ที่ให้คะแนนได้
• โมเดลฟรอนเทียร์ถูกใช้เพื่อตรวจสอบความเป็นไปได้ของการทำ automation และตั้ง baseline เริ่มต้น
  • ระหว่างการเรียกใช้งานจะสะสมบันทึก input, decision, และการแก้ไข ซึ่งต่อมาจะกลายเป็นข้อมูลฝึกของโมเดลเฉพาะทาง
  • เมื่อพ้นจาก prototype เข้าสู่ขั้น operation ปริมาณมาก ต้นทุนต่อ call และประสิทธิภาพจะกลายเป็นลำดับความสำคัญ
• โมเดลฟรอนเทียร์กับโมเดลเฉพาะทางไม่ได้แทนที่กันโดยสมบูรณ์
  • โมเดลทั่วไปอย่าง ChatGPT หรือ Claude สามารถมอบหมายส่วนที่ต้องใช้ความรู้ภายในให้โมเดลเฉพาะทางได้
  • โมเดลเฉพาะทางเองก็สามารถเรียกโมเดลฟรอนเทียร์ในงานที่ต้องการความสามารถทั่วไปสูงได้
• โมเดลทำงานด้วยเครื่องมือและข้อมูลของบริษัท, rubric ให้คะแนนผลลัพธ์ และสัญญาณรางวัลจะอัปเดตโมเดล
  • เมื่อทำงานซ้ำหลายหมื่นรายการ การตัดสินเชิงงานจะฝังอยู่ในน้ำหนัก
  • ข้อเท็จจริงที่เปลี่ยนแปลง เช่น ราคา สต็อก และเอกสารนโยบาย จะคงไว้ในเครื่องมือ

กรณี deploy จริงของโมเดลเฉพาะทาง

• Bridgewater Associates ฝึกโมเดลโอเพนซอร์สด้วย label จากนักลงทุนมืออาชีพ ให้ตัดสินว่าบทความ เอกสารยื่นทางการ และอีเมลเกี่ยวข้องกับ thesis การลงทุนหรือไม่ และถ้อยคำซ้ำซากเริ่มจากตรงไหน
  • การใช้ prompt อย่างเดียวไม่สามารถสะท้อนเกณฑ์ตัดสินภายในได้อย่างเสถียร
  • โมเดลที่ฝึกแล้วมีข้อผิดพลาดน้อยกว่าโมเดลฟรอนเทียร์อันดับต้นประมาณ 30% และมีต้นทุน inference ต่ำกว่า
• Harvey ใช้โมเดล open-weight และ reinforcement learning กับงานที่ข้อผิดพลาดสะสมหลายขั้น เช่น due diligence ในธุรกรรมและการเขียนบันทึกกฎหมาย
  • ใน rubric ของตัวเอง legal agent ทำได้เหนือกว่า GPT-5.5 และ Claude Opus 4.8
• Intercom Fin Apex ถูกฝึกต่อด้วย interaction ด้านบริการลูกค้าหลายพันล้านรายการ เพื่อปรับปรุงต้นทุนต่อ call และอัตราการแก้ปัญหาในระดับที่จัดการปัญหาลูกค้าราว 2 ล้านรายการต่อสัปดาห์
  • Intercom ระบุว่าสามารถแก้ปัญหาได้มากกว่าโมเดลฟรอนเทียร์อันดับต้น และมีต้นทุนดำเนินงานต่ำกว่า
• กระบวนการ deploy ที่พบร่วมกันคือสร้าง baseline ด้วยโมเดลฟรอนเทียร์ที่ปรับ prompt และ context แล้วถ่ายโอนบันทึกการทำงานและสิ่งที่เรียนรู้ไปยังโมเดลขนาดเล็กที่บริษัทเป็นเจ้าของ

ปัญหาความถูกต้องของแคตตาล็อกและต้นทุน

• แคตตาล็อกอีคอมเมิร์ซต้องวางสินค้าทุกรายการไว้ในระบบหมวดหมู่ที่ถูกต้อง และต้องดึงแอตทริบิวต์ที่ใช้ในการค้นหา·ตัวกรอง·คำแนะนำ·การดำเนินงานต่อเนื่อง จากรูปภาพและคำอธิบายให้แม่นยำ
• การตัดสินที่ผิดทำให้ค้นหาสินค้าได้แย่ลง คุณภาพคำแนะนำลดลง และพลาดการละเมิดนโยบาย
  • หากพลาดสินค้าปลอม ลูกค้าและแบรนด์จะเสี่ยงต่อการถูกหลอกลวง
  • หาก flag สินค้าปกติมากเกินไป จะเพิ่มคิวตรวจทานและความไม่สะดวกของผู้ขาย
• ขนาดงานก็ใหญ่มาก
  • eBay มีสินค้าที่ active ราว 2.5 พันล้านรายการ
  • แคตตาล็อก Shopify มีการอัปเดตสินค้ามากกว่า 10 ล้านรายการต่อวัน
  • Walmart ประเมินว่าหากทำงานแคตตาล็อกที่ AI ช่วยอยู่ด้วยคนล้วน ๆ จะต้องใช้แรงงานประมาณ 100 เท่า
  • ผู้บริโภค 71% ระบุว่าเคยคืนสินค้าเพราะสินค้าจริงไม่ตรงกับข้อมูลที่ลงไว้
• หาก marketplace ขนาดกลางต้องประมวลผลการสร้าง·แก้ไขสินค้าราว 10 ล้านรายการต่อวัน การตรวจสอบด้วยโมเดลฟรอนเทียร์คาดว่าจะมีค่าใช้จ่ายราว 500 ล้านดอลลาร์ต่อปี ส่วนโมเดลเฉพาะทางที่ fine-tune แล้วอยู่ที่ราว 10 ล้านดอลลาร์
• Shopify ใช้โมเดลโอเพนที่ fine-tune แล้วเพื่อทำ inference การจัดหมวดหมู่สินค้าราว 40 ล้านครั้ง ต่อวัน เพราะ API เชิงพาณิชย์รับต้นทุนในเชิงเศรษฐศาสตร์ได้ยาก

งานของเอเจนต์ตรวจสอบแคตตาล็อก

• ขณะตรวจสินค้า เอเจนต์จะค้นหา taxonomy ตรวจสอบแบรนด์ ดึง schema แอตทริบิวต์ของหมวดหมู่นั้น แล้วสรุปการตัดสินแบบมีโครงสร้าง
• หากหลักฐานไม่พอหรือความเสี่ยงสูง จะส่งต่อไปยัง การตรวจทานโดยมนุษย์
• กรณีถุงมือทำงานดำเนินการตามลำดับดังนี้
  • ใช้ search_taxonomy เพื่อหา category Safety Work Gloves
  • ใช้ lookup_brand ยืนยันว่า AmazonBasics จดทะเบียนแล้วแต่ไม่ใช่แบรนด์ที่ได้รับการคุ้มครอง
  • ใช้ get_attribute_schema ดูแอตทริบิวต์แบรนด์ สี วัสดุ และขนาด
  • สรุปคำตัดสิน allowed พร้อมหมวดหมู่และแอตทริบิวต์
• ตั้งต้นทุนของการพลาดการละเมิดจริงให้สูงกว่า false positive 7 เท่า เพื่อให้โมเดลเรียนรู้ข้อผิดพลาดทั้งสองแบบอย่างไม่สมมาตร

Digital twin สำหรับการฝึก

• สร้างเอพิโซดการตรวจสอบ 177,767 รายการ โดยใช้รูปภาพสินค้าจริงและข้อมูลประกาศจาก Amazon Berkeley Objects
  • แต่ละเอพิโซดมีรูปภาพ ชื่อสินค้า คำอธิบาย แบรนด์ที่กล่าวอ้าง และภูมิภาค
  • ใส่การละเมิดนโยบายแบบควบคุม รูปภาพที่ไม่ตรงกัน การกล่าวอ้างแบรนด์ที่ขัดแย้งกัน รวมถึงการกล่าวอ้างที่ถูกต้องในฐานะตัวอย่าง negative ที่ยาก
  • ทุกเอพิโซดมีคำตอบที่ให้คะแนนได้
• สภาพแวดล้อมที่โมเดลใช้จำลองงานของนักวิเคราะห์จริง
  • ค้นหาหมวดหมู่ราว 13,000 รายการ
  • ตรวจสอบว่าแบรนด์จดทะเบียนและได้รับการคุ้มครองหรือไม่
  • ดึงแอตทริบิวต์ที่จำเป็นสำหรับหมวดหมู่ที่เลือก
  • สรุปการจัดหมวดหมู่ แอตทริบิวต์ และการตัดสินตามนโยบายขั้นสุดท้าย
• ตัวให้คะแนนให้รางวัลกับคำตอบที่ถูกต้อง และลงโทษการพลาดการละเมิด แอตทริบิวต์ที่ไม่มีหลักฐาน การจัดหมวดหมู่ผิด และการเรียกเครื่องมือโดยไม่จำเป็น
• ต้องสามารถทำความล้มเหลวและลองใหม่ซ้ำ ๆ ในสภาพแวดล้อมที่จำลองรายการ เครื่องมือ และต้นทุนการตัดสินของงานจริงได้ จึงจะทำ reinforcement learning ได้

Baseline ของโมเดลฟรอนเทียร์

• เปรียบเทียบ GPT-5.5, GPT-5.6-sol, Gemini 3.1 Pro, Claude Opus 4.8, Claude Fable 5 บนเอพิโซดตรวจสอบแบบแบ่งชั้น 200 รายการ
  • ใช้เครื่องมือ รูปภาพ ตัวให้คะแนน และงบประมาณ turn เดียวกันกับทุกโมเดล
  • ทดสอบทั้ง prompt พื้นฐาน และ prompt ที่ปรับแต่งซึ่งมีความยาว 2,800 ตัวอักษรพร้อมกฎการดึงข้อมูล ขั้นตอน lookup และตัวอย่าง
• การตั้งค่าฟรอนเทียร์อันดับต้นทำได้ 76.9% ของคะแนนที่เป็นไปได้ ส่วนโมเดล 9B ที่ฝึกด้วย GRPO ทำได้ 87.3%
• ในทุกเอพิโซด โมเดลฟรอนเทียร์ต้องสร้าง taxonomy ของร้านนั้น ๆ, ขนบการจัดสต็อก, ค่าแอตทริบิวต์ที่รองรับ และวิธีจัดการข้อยกเว้นขึ้นใหม่จาก prompt
  • คำแนะนำที่ปรับแต่งช่วยบีบอัดความรู้บางส่วนได้ แต่ไม่สามารถไล่แจกแจงข้อยกเว้นทั้งหมดที่มีผลต่อคะแนนได้
  • การตั้งค่าฟรอนเทียร์ที่ปรับแต่งแล้วลู่เข้าหากันภายใน 0.1 percentage point
  • Gemini ซึ่งมีประสิทธิภาพการดึงข้อมูลแบบ zero-shot สูงสุด กลับมีประสิทธิภาพลดลงหลังใช้คำแนะนำที่ปรับแต่ง
• คำแนะนำเพิ่มเติมเพิ่มต้นทุน input token ต่อ call 28~55% ขึ้นกับโมเดล
  • ความรู้งานที่ใส่ไว้ใน prompt มีต้นทุนทุกครั้งที่เรียกใช้ แต่ความรู้ที่ฝึกแล้วจะคงอยู่ในน้ำหนัก

การฝึก GRPO ระดับ 500 ดอลลาร์

• การฝึกเช่า GPU RTX PRO 6000 2 ตัว โดยใช้ตัวหนึ่งสร้าง rollout และอีกตัวหนึ่งทำ gradient update
• โครงสร้างพื้นฐานใช้โอเพนซอร์ส prime-rl
• การฝึกทั้งหมดใช้ 1,000 ขั้นตอน optimization ประมาณ 3.5 วัน และค่า GPU ราว 500 ดอลลาร์
  • เพียงประมาณ 250 ขั้นตอนและการฝึกราวหนึ่งวันก็แซงช่วงคะแนนของโมเดลฟรอนเทียร์แล้ว
  • ขั้นตอนที่เหลือใช้ดึงประสิทธิภาพสูงสุดออกมา
• คะแนน benchmark แบบเข้มงวดสุดท้ายคือ 0.626 หรือ 87.3% ของเพดานที่ทำได้ สูงกว่าการตั้งค่าฟรอนเทียร์อันดับต้นราว 10 percentage points
  • ในตัวมอนิเตอร์การฝึกของ W&B คะแนนเพิ่มจากราว 0.50 ไปถึง 0.671 ที่ 1,000 ขั้นตอน
  • มอนิเตอร์ใช้ rollout ตัวอย่าง 2 รายการต่อเอพิโซด จึงได้คะแนนสูงกว่า benchmark harness แบบเข้มงวดเล็กน้อย
• โมเดลฐาน 9B ที่ไม่ได้ฝึกทำได้ 64.2% ของคะแนนสูงสุด และเพิ่มเป็น 87.3% หลัง fine-tune หรือดีขึ้นเชิงสัมพัทธ์ราว 36%
• โมเดลเฉพาะทางเรียนรู้ความสัมพันธ์ระหว่าง taxonomy, เครื่องมือ, นโยบาย และรางวัล เพื่อรวมขีดความสามารถไว้ที่พฤติกรรมในสภาพแวดล้อมเฉพาะ โดยแลกกับความสามารถทั่วไป
• เมื่อมีโมเดลโอเพนซอร์สฐานที่แข็งแรงขึ้น ก็สามารถย้ายวิธีฝึกเดียวกันไปใช้ได้ และการตัดสินที่บันทึกระหว่าง operation ก็สามารถ distill เป็นข้อมูล supervised fine-tuning สำหรับการฝึกซ้ำรอบถัดไปได้

เปรียบเทียบต้นทุนและคุณภาพ

• ต้นทุน inference ของโมเดลเฉพาะทางอยู่ที่ราว 0.50 ดอลลาร์ ต่อสินค้า 1,000 รายการ และ fine-tuning ให้คะแนนสูงกว่าโมเดลฐาน 9B ราว 23 percentage points ในต้นทุนเท่าเดิม
• ความต่างด้านต้นทุนของกลุ่มเปรียบเทียบมีดังนี้
  • Gemini ซึ่งเป็นการตั้งค่าฟรอนเทียร์ที่ถูกที่สุด อยู่ที่ 19 ดอลลาร์ต่อ 1,000 รายการ แพงกว่าโมเดลเฉพาะทาง 40 เท่า
  • GPT-5.5-pro ซึ่งแพงที่สุด อยู่ที่ 172 ดอลลาร์ต่อ 1,000 รายการ แพงกว่าราว 340 เท่า
  • การตั้งค่าที่ได้คะแนนฟรอนเทียร์สูงสุดอยู่ที่ 34 ดอลลาร์ต่อ 1,000 รายการ แพงกว่าโมเดลเฉพาะทาง 68 เท่า
• คำแนะนำ 2,800 ตัวอักษรเพิ่มต้นทุนที่วัดได้ของ GPT-5.5 ราวหนึ่งในสาม และ ภาษี prompt นี้จะเกิดซ้ำในทุก call หลังจากนั้น
• หากประมวลผลราว 40 ล้านรายการต่อวัน การตั้งค่าที่ 34 ดอลลาร์ต่อ 1,000 รายการจะมีค่าใช้จ่ายราว 500 ล้านดอลลาร์ต่อปี ส่วนโมเดลเฉพาะทางที่ 0.50 ดอลลาร์จะอยู่ราว 7 ล้านดอลลาร์ คิดเป็นส่วนต่างต้นทุนราว 98%

งานที่เหมาะจะนำไปใช้และพื้นที่ที่ควรหลีกเลี่ยง

• งานที่เหมาะคือการทำซ้ำปริมาณมากที่สร้างการตัดสินจากข้อมูล
  • routing ticket
  • ดึง field จากเอกสาร
  • ตรวจ submission ตามนโยบาย
  • จัดหมวดหมู่สินค้า
  • อนุมัติหรือ flag ธุรกรรม
• เงื่อนไขหลักคือสามารถ ตรวจสอบได้หรือไม่ ว่าแต่ละการตัดสินถูกหรือผิด ด้วยกฎ schema การทดสอบ rubric หรือการตัดสินของผู้เชี่ยวชาญ
  • การตัดสินที่ให้คะแนนได้ โมเดลก็ฝึกซ้อมได้
  • ผลลัพธ์ที่ทำได้แค่ถกเถียงโดยไม่มีฉันทามติ ไม่สามารถฝึกด้วยวิธีนี้ได้
• เลือกเครื่องมือตามความถี่และความตรวจสอบได้
  • งานที่มีความถี่สูงและตรวจสอบได้เหมาะกับ fine-tuning
  • งานที่ตรวจสอบได้แต่เกิดไม่บ่อยเหมาะกับโมเดลฟรอนเทียร์ที่ปรับ prompt แล้ว
  • ผลลัพธ์ที่ตรวจสอบไม่ได้ต้องมีมนุษย์เข้ามาเกี่ยวข้อง
  • หากแก่นของปัญหาไม่ใช่การตัดสิน แต่เป็นข้อเท็จจริงที่เปลี่ยนแปลง retrieval augmentation จะเหมาะไม่ว่าความถี่เท่าใด
• หากเข้าเงื่อนไขอย่างน้อยหนึ่งข้อต่อไปนี้ อาจเป็นผู้สมัครสำหรับ fine-tuning
  • call cost และข้อผิดพลาดเกิดในปริมาณมากพอที่จะสะสมเป็นต้นทุนจริง
  • ผลลัพธ์ทั้งหมดสามารถตรวจได้ด้วยกฎ การทดสอบ หรือ rubric โดยไม่ต้องใช้คน
  • ผู้เชี่ยวชาญเห็นพ้องกันว่าอะไรคือคำตอบที่ถูก
  • โมเดลที่มีความสามารถทำสำเร็จได้บางส่วน แต่ยังไม่สม่ำเสมอพอให้เชื่อถือ
  • คำตอบที่ถูกไม่สามารถเกิดจากการเดาสุ่มได้
  • ประกอบด้วยหลายขั้นตอนของ reasoning, tool call และ final decision
  • ทำงานบนเครื่องมือ schema และนโยบายของตัวเอง
  • ข้อผิดพลาดแต่ละประเภทมีต้นทุนต่างกัน
  • ไม่สามารถส่งข้อมูลอ่อนไหวไปยังโครงสร้างพื้นฐานนอกการควบคุมได้
• เมื่อรันโมเดลภายในขอบเขตของตัวเอง prompt และบันทึกจะไม่ถูกส่งให้ผู้ให้บริการภายนอก และสามารถเป็นเจ้าของและปรับปรุงโมเดล·การประเมิน·ข้อมูลไปพร้อมกันได้

ตัวอย่างโมเดลเฉพาะทางในอุตสาหกรรมอื่น

• โมเดลเขียน·แก้ไขซอฟต์แวร์ production ของ Cognition ทำได้เหนือกว่า GPT-5.5 บน benchmark การเขียนโค้ดมาตรฐาน และสตรีมได้ 1,000 token ต่อวินาที
• AT&T สรุปสายสนับสนุน 900,000 สายต่อวันและ flag ข้อมูลส่วนบุคคล
  • ตรวจจับข้อมูลส่วนบุคคลได้ดีกว่า GPT-4o 17%
  • ตรวจทานกรณีฉ้อโกงได้เร็วกว่า 12 เท่าที่ความแม่นยำระดับ GPT-4o และประหยัดได้หลายล้านดอลลาร์ต่อปี
• โมเดลจับคู่ผู้หางาน·ประกาศงานของ LinkedIn แม่นยำกว่าโมเดล GPT ที่แทนที่ 4%
  • ถูกกว่า GPT-4 75 เท่า และถูกกว่า GPT-4o 6 เท่า
• โมเดลรหัสเคลมทางการแพทย์ของ Ambience Healthcare แม่นยำกว่าแพทย์ผู้เชี่ยวชาญ 18 คนในการทดสอบ gold panel
  • สูงกว่าวิธี prompt-based o4-mini ที่เป็นฐาน 12 percentage points
• โมเดลรับสายโทรศัพท์ของ Phonely ทำความแม่นยำ 99.2% สูงกว่า GPT-4o ที่ 94.7%
  • ตอบสนองเร็วกว่า config GPT-4o เดิม 73% และลูกค้ารายหนึ่งแทนที่เจ้าหน้าที่มนุษย์ 350 คนได้ภายในหนึ่งเดือน
• โมเดลอีเมล·support ticket ของ OpenPipe ทำคะแนน 93% ใน support QA สูงกว่า OpenAI o3 ที่ 50%
  • ถูกกว่า o3 64 เท่า และเร็วกว่า 5 เท่า
• Perplexity Sonar เทียบเท่า GPT-4o ตามการทดสอบผู้ใช้แบบ blind สำหรับคำตอบค้นหาที่มีแหล่งอ้างอิง
  • เร็วกว่า GPT-4o 10 เท่าและราคาต่ำกว่า
• โมเดลจำแนกประวัติอาชญากรรมของ Checkr ทำได้เหนือกว่า GPT-4 ในเคสที่ยากที่สุด
  • ถูกกว่า config GPT-4 เดิม 5 เท่า และเร็วกว่า 30 เท่า
• ตัวเลขแต่ละรายการเป็น ผลลัพธ์ที่บริษัทเหล่านั้นรายงานเอง โดยเทียบกับโมเดลฟรอนเทียร์ที่ตนแทนที่หรือแข่งขันด้วย

[click]

แทนที่จะต้องหาผู้เชี่ยวชาญแยกตามแต่ละเคสแล้วมอบหมายงานแค่ในขอบเขตนั้น คนเราก็มักอยากยกให้คนเดียวแล้วให้เขาจัดการทุกอย่างให้ดีไปเลยมากกว่านะครับ
สำหรับ LLM เอง สุดท้ายฟังก์ชันรางวัลก็คงเลี่ยงไม่ได้ที่จะถูกออกแบบให้รับได้หมด ไม่ว่าเราจะโยนอะไรมาก็ตามไม่ใช่หรือครับ

[GN⁺]

ความคิดเห็นจาก Hacker News

• ประเด็นสำคัญที่ห้องแล็บขนาดใหญ่มองข้ามคือ การใช้งานส่วนใหญ่ไม่ได้ต้องการ ความรู้ระดับปริญญาเอก 50 คนและความสามารถ 12 ภาษา แต่ข้อจำกัดด้านต้นทุนสำคัญกว่ามาก
  หากโมเดลแบบเปิดน้ำหนักและการปรับแต่งแบบประหยัดแพร่หลาย เศรษฐศาสตร์ของโมเดลขนาดมหึมาและโครงสร้างพื้นฐานขนาดใหญ่ที่อาศัยหนี้ในการจัดหาเงินทุนก็จะพังลง
  การเมืองหรือวาทกรรมภัยคุกคามจากจีนเป็นเพียงข้ออ้างผิวเผินเท่านั้น และหาก โมเดลเปิดน้ำหนักขนาดเล็ก กลายเป็นมาตรฐาน ห้องแล็บขนาดใหญ่ก็จะอยู่รอดได้ยาก

  • งานเอนกประสงค์ได้รับประโยชน์มากจากโมเดลที่ฝึกมาอย่างกว้างขวาง หากไม่รู้ล่วงหน้าว่าจะใช้ทำอะไรโดยเฉพาะ ก็จำเป็นต้องมีความรู้เกี่ยวกับโลก และแม้แต่ในการเขียนโค้ด ความรู้นี้ก็มีประโยชน์ในการเข้าใจเจตนาของผลิตภัณฑ์และวิธีใช้งาน
    ส่วนที่แพงจริง ๆ ในการปรับแต่งคือ การรวบรวมชุดข้อมูลที่ดี และแม้จะมีข้อมูลที่สะอาดแล้ว ก็ยังต้องมีความสามารถในการรันการประเมินและวัดคุณภาพ
    เมื่อรวมต้นทุนด้านวิศวกรรม การติดป้ายกำกับข้อมูล และการตรวจสอบคุณภาพอย่างต่อเนื่องแล้ว สำหรับหลายกรณีการใช้งาน การใช้โมเดลล้ำสมัยจากห้องแล็บชั้นนำที่ทำงานได้ดีตั้งแต่แรกต่อไปอาจถูกกว่า
  • ปรากฏการณ์เดียวกันเห็นได้จากการที่บริษัทส่วนใหญ่เริ่มมองหา นักวิจัย AI อย่างกะทันหัน แทนที่จะหาวิศวกรซอฟต์แวร์ที่ยังจำเป็นอยู่
    คล้ายกับเมื่อประมาณ 10 ปีก่อนที่วิธีสัมภาษณ์ของ FAANG ถูกเปิดเผย แล้วทุกคนก็ทำตามแบบนั้น
  • นี่แทบจะเหมือนกับสิ่งที่ Richard Sutton โต้แย้งไว้กำลังเกิดขึ้นจริง: https://www.youtube.com/watch?v=21EYKqUsPfg
    เขาโต้แย้งว่าเส้นทางปัจจุบันที่เพิ่มน้ำหนักและใส่ฮาร์ดแวร์เข้าไปเรื่อย ๆ เป็นทางตัน และสุดท้ายก็จะกลับไปสู่ อัลกอริทึมที่ออกแบบให้เหมาะกับวัตถุประสงค์ เหมือนที่เคยเป็นมาตลอดในประวัติศาสตร์ AI
  • หากมีโมเดลจิ๋วที่มีประสิทธิภาพกว่านี้ออกมา การเปลี่ยนแปลงจำนวนมากที่ตอนนี้ยังมองไม่เห็นก็จะปรากฏชัด
    ผมกำลังทำ TinyToT เพื่อพิสูจน์ว่าไม่จำเป็นต้องมีพารามิเตอร์มากขนาดนั้น
  • ถ้าตามตารางในบทความ ปริมาณงานทั้งหมดคือ รายการที่จัดประเภทแล้ว 1,000 รายการ และเกณฑ์คุณภาพคือ 70% ผมคิดว่าจ่าย 19 ดอลลาร์ให้ Gemini API น่าจะดีกว่าใช้เงิน 500 ดอลลาร์และเวลาไปกับการปรับแต่งเฉพาะทาง

• ทุกครั้งที่เห็นเรื่องแบบนี้ ผมติดใจอยู่สองอย่าง
  อย่างแรก ผมเคยเห็นหลายกรณีที่กลยุทธ์การใช้โมเดลเดิมให้ดีขึ้น หรือไม่ทำอะไรแล้วรอ ให้ผลลัพธ์ดีกว่าการฝึกใหม่ สิ่งที่ควรนำมาเทียบไม่ใช่โมเดลล้ำสมัยในปัจจุบัน แต่เป็นโมเดลรุ่นถัดไปที่จะออกมาระหว่างที่คุณดูแลโมเดลที่ปรับแต่งแล้ว
  อย่างที่สอง ค่าใช้จ่ายฝึก 500 ดอลลาร์ เป็นรายการที่ถูกที่สุด ส่วนการสร้างข้อมูลและการดูแลโมเดลหลังจากนั้นแพงกว่ามาก ผมสงสัยว่าจะมีกรณีใช้งานสักกี่แบบที่สร้างเอพิโซด 177,000 รายการพร้อมคะแนนได้จริง
  ในที่นี้ต้องสังเคราะห์ด้วย Amazon Berkeley Objects แต่หากชุดข้อมูลนี้มีอยู่ตามธรรมชาติอยู่แล้ว ก็คงไม่ต้องสร้าง และตัวชุดข้อมูลนี้เองแสดงให้เห็นได้ดีที่สุดว่า การนำการปรับแต่งไปใช้จริงนั้นยากเพียงใด

  • หากต้นทุนที่เกิดขึ้นระหว่างรอสูงกว่าต้นทุนการฝึกและการดูแล วิธีนี้ก็ยังสมเหตุสมผล แม้อาจเป็นกลยุทธ์ชั่วคราวตามความเร็วในการพัฒนาของโมเดลโอเพนซอร์สราคาถูก แต่ก็มีคุณค่าพอ
    เช่นเดียวกับฮาร์ดแวร์เฉพาะทางอย่าง GPU ที่ยังถูกใช้แม้ CPU จะพัฒนาขึ้น โมเดลเฉพาะทาง ก็มีแนวโน้มจะเหนือกว่าโมเดลเอนกประสงค์ต่อไปในด้านต้นทุนหรือผลลัพธ์
    ถ้าการฝึกครั้งแรกอยู่ที่ 500 ดอลลาร์ การฝึกต่อเนื่องเองก็ค่อนข้างถูก การสร้างตัวอย่างใหม่ให้สอดคล้องกับการเปลี่ยนแปลงของข้อมูลแพงกว่า แต่สามารถนำกลับมาใช้ในการฝึกโมเดลถัดไปได้ และอย่างไรก็ต้องมีอยู่ระดับหนึ่งเพื่อประเมินการเปลี่ยนโมเดลและพรอมป์ต์
    สุดท้ายแล้ว วิธีนี้ไม่ได้สมเหตุสมผลเสมอไปเพราะต้นทุนการสร้างข้อมูล/การฝึก หรือเพราะข้อมูลไม่พอ และเหมาะเฉพาะกับ งานที่เกิดบ่อยและตรวจสอบได้ ตามแผนภาพในบทความเท่านั้น ในทางปฏิบัติอาจเหมาะแค่กับองค์กรขนาดใหญ่ที่ต้องประมวลผลการตัดสินใจหลายล้านครั้ง
  • หากรวม การลองผิดลองถูกกับไฮเปอร์พารามิเตอร์ ที่ไม่ได้เปิดเผยด้วย ดูเหมือนค่อนข้างแน่ว่าค่าใช้จ่ายเฉพาะการรันฝึกก็น่าจะเกิน 5,000 ดอลลาร์
  • บริษัทระดับโลกจำนวนมากที่ใช้เงินกับการอนุมานของโมเดลล้ำสมัยมากที่สุด มี ชุดข้อมูลที่ติดป้ายกำกับแล้ว ซึ่งเป็นส่วนที่แพง อยู่แล้ว
    ต้นทุนของชุดข้อมูลและการดูแลโมเดลก็กำลังถูกทำให้เป็นบริการทั่วไปผ่านสตาร์ทอัพอย่าง Braintrust หรือ Hugging Face
  • ผมสงสัยว่า การดูแลโมเดล ที่พูดถึงตรงนี้หมายถึงอะไรกันแน่

• โมเดลล้ำสมัยเก่งมากในการทำให้งานของตัวเองหายไป
  แม้แต่ใน GPT ตอนนี้ Luna ก็จัดการงานสำหรับ Sol ได้ 90% แล้ว เหตุผลที่จีนยังคงทุ่มเทกับการกลั่นโมเดลคือการสร้างข้อมูลฝึกที่แม่นยำ ส่วน OpenAI และ Anthropic ใช้เวลาหลายปีในการรวบรวมสิ่งนี้โดยหลีกเลี่ยงปัญหาทางกฎหมาย
  ยิ่งโมเดลฉลาดขึ้น ก็ยิ่งย้ายไปใช้ทางเลือกที่ถูกกว่าซึ่งทำงานได้ดีพอ หากความแม่นยำอยู่ที่ 99% แล้ว ก็แทบไม่มีประโยชน์เชิงปฏิบัติในการใช้ โมเดลล้ำสมัย และนี่ดูเหมือนจะเป็นความเสี่ยงใหญ่ที่สุดของห้องแล็บในสหรัฐฯ

  • กรณีใช้งานหลักของโมเดลระดับท็อปคือการเขียนโค้ด หากตั้ง Terra ไว้ที่ระดับการให้เหตุผลสูงสุดให้เขียนโค้ด Sol จะเจอบั๊กจำนวนมากและชำแหละโค้ดอย่างละเอียด
    สำหรับงานอื่น ๆ ใช้โมเดลที่ถูกกว่าก็เพียงพอ
  • นี่เหมือนกับ เส้นโค้งรูปตัว S ทั่วไปของเทคโนโลยี แม้จะพักประเด็นว่าความสามารถในการอนุมานของ AI ชะลอตัวลงจริงหรือไม่ แต่ในเชิงวัตถุประสงค์ที่ใช้งานได้จริงอย่างการเขียนฟรอนต์เอนด์ React ก็ถือว่าชะลอตัวแล้ว
    คล้ายกับที่ผมไม่มีความคิดจะเปลี่ยนทีวี LCD ที่ซื้อราวปี 2018 เทคโนโลยีอื่น ๆ ก็คล้ายกัน
    เทคโนโลยีมักจะแทนที่เทคโนโลยีใหม่หรือแทรกซึมเข้าไปในพื้นที่ว่าง แต่แทบไม่ค่อยแทนที่พื้นที่ที่ไม่ใช่เทคโนโลยีอย่างปฏิสัมพันธ์ระหว่างมนุษย์ กิจกรรมยามว่างหน้าจอก็มักมุ่งไปสู่ ความสัมพันธ์กึ่งสังคม
  • สำหรับโค้ดที่ซับซ้อนหรือมีขนาดใหญ่มากพอ โมเดลอื่นที่ไม่ใช่ Sol ยังไม่เพียงพอ
  • ผมไม่ค่อยรู้สึกถึงความแตกต่างระหว่าง Terra กับ Sol แต่ก็ใช้ Sol เสมอ ความแตกต่างระหว่างการให้เหตุผลระดับกลางกับระดับสูงสุดก็ไม่ได้รู้สึกชัดเจนนัก

• ผมสนใจการปรับแต่งโมเดลเปิดมาก จึงกำลังหาทรัพยากรที่พอจะแนะนำได้โดยตรง และบันทึกบทความนี้ไว้เพื่ออ่านอย่างละเอียด
  ผมรัน Nemotron-3-Nano 30B ในเครื่อง และตั้งเป้าไปที่ โมเดลขนาด 30,000 ล้านถึง 120,000 ล้านพารามิเตอร์ แม้ใช้แค่โมเดลพื้นฐานก็เพียงพอที่จะสร้างคุณค่าได้จริง แต่ผมคิดว่างานเฉพาะทางสามารถก้าวข้ามช่องว่างสุดท้ายได้ด้วยการฝึก
  ผมชอบเป็นพิเศษที่ผู้เขียนคิดถึงกระบวนการทั้งหมด และทำให้ยืนยันกรณีใช้งานและกลยุทธ์การสร้างคุณค่าแบบเดียวกันได้ เนื่องจากเป็นโปรเจกต์ระยะยาว ผมจึงวางแผนจะซื้อฮาร์ดแวร์สำหรับการปรับแต่งด้วย

  • อยากทราบว่าใช้ฮาร์ดแวร์แบบไหน และ ความเร็วในการสร้างโทเคนต่อวินาที อยู่ประมาณเท่าไร แม้บน MacBook ประสิทธิภาพสูงที่มีหน่วยความจำ 128GB ความเร็วในการสร้างของโมเดลโลคัลก็น่าผิดหวังมากเสมอ

• ยังไม่ได้อ่านบทความของ Ramp แต่ดูเหมือนเป็น ข้อผิดพลาดแบบมองย้อนหลัง บริษัทที่มีรายได้เพิ่มเป็น 2 เท่าอาจมีเงินสำหรับใช้กับ AI ส่วนบริษัทที่เพิ่ม 1.15 เท่าอาจไม่มีเท่านั้นเอง

  • อาจตีความได้เช่นกันว่าบริษัทที่ใช้ AI มากมีแนวโน้มสูงกว่ามากที่จะเป็น บริษัทระยะเติบโตที่คล่องตัว มากกว่าจะเป็นองค์กรขนาดใหญ่ที่เติบโตเต็มที่แล้ว

• แนวทางการปรับจูนโมเดลภาษาขนาดเล็กอย่าง LLM ขนาดเล็กหรือ BERT ถูกแนะนำมาตั้งแต่ช่วงแรกที่ LLM ปรากฏขึ้น มีข้อดีชัดเจนคือทำงานเร็ว ควบคุมองค์ประกอบทางเทคนิคทั้งหมดได้ และเหมาะกับโดเมนเฉพาะที่ปรับแต่งมากกว่า
  แต่ในทางปฏิบัติยังมีการปรับจูนไม่มากนัก เพราะ API ของโมเดลภาษาขนาดใหญ่ยังคงราคาถูก เร็วพอ และพัฒนาอย่างต่อเนื่อง ทันทีที่ใช้เวลาและเงินสร้างโมเดลเฉพาะทางออกมา โมเดลอเนกประสงค์ตัวใหม่ก็อาจแซงหน้าได้
  สักวันหนึ่งเมื่อการพัฒนา LLM ชะลอลง หรือราคา API แพงจนรับไม่ไหว ยุคของ การปรับจูนและโมเดลขนาดเล็ก จะกลับมาอีกครั้ง

  • สุดท้ายคิดว่าจะไปถึงจุดนั้นบนเส้นโค้งรูปตัว S ความสามารถในการป้องกันตัวของหลายบริษัทมาจาก กระบวนการและข้อมูล ของตนเอง และโมเดลปรับจูนที่โฮสต์เองอาจถูกมองเป็นความลับทางการค้ามากขึ้นเรื่อย ๆ
  • การปรับจูนเองก็ยากมาก และถ้าจะให้ได้ผลดีต้องใช้ ข้อมูลจำนวนมาก

• ชอบ ตาราง 2×2 ที่แสดงว่าเมื่อไรควรปรับจูนโมเดล และเมื่อไรควรใช้โมเดลล้ำสมัย
  แต่ยังไม่ชัดเจนว่าตัวประเมินกำหนดคะแนนของแต่ละ episode อย่างไร ถ้าใช้โมเดลล้ำสมัยเป็นผู้ให้คะแนน ก็สงสัยว่าการประเมินจะยังใช้ได้อยู่ไหมหลังจากโมเดลที่ปรับจูนทำงานนั้นได้ดีกว่าโมเดลผู้ประเมินแล้ว

• การเริ่มจากโมเดลโอเพนขนาดใหญ่กว่าอย่าง Kimi K3 เพื่อ กลั่นการแจกแจงความน่าจะเป็นทั้งหมด ของเวิร์กโฟลว์เฉพาะโดเมน แล้วนำผลลัพธ์ไปใช้กับ pipeline การเรียนรู้แบบเสริมกำลังแบบปิดของตัวเองจะช่วยได้ เราใช้ GLM 5.2 สร้างโมเดล 27B แบบปิดสำหรับอังกฤษ→SQL และได้ผลดีกว่า Fable แต่ความสามารถในการอธิบายหายไป
  ในพื้นที่ที่เฉพาะทางมาก ๆ การแซงโมเดลล้ำสมัยด้วยต้นทุนเพียงเศษเสี้ยวนั้นไม่ยาก แม้ไม่มี pipeline การเรียนรู้แบบเสริมกำลังของตัวเอง แค่การกลั่นก็ช่วยประหยัดต้นทุนได้มาก และโมเดล 27B อาจเข้าใกล้โมเดล 3T ในงานนั้นได้
  อย่างไรก็ตาม งานที่ทะเยอทะยานเกินกว่าจะเหมาะกับโมเดลผู้เชี่ยวชาญมีแนวโน้มว่าจะใช้วิธีนี้ไม่ได้

• ช่วงนี้หมกมุ่นกับการวิจัยอัตโนมัติที่ยกระดับ 3B Foundation Model ของ Apple ให้ถึงระดับ Sonnet 4.6 ในงานที่เฉพาะเจาะจงมาก
  ด้วยการผสมผสานอะแดปเตอร์ปรับจูนกับขั้นตอนเชิงกำหนดหนึ่งขั้น ทำให้ได้ระดับประมาณ 90%
  กระบวนการทั้งหมด รวมถึงคำถามและคำตอบ การทดลอง 96 ครั้ง และสายลำดับ ได้สรุปไว้ที่ https://alexisrondeau.me/tada/research/FMDiscovery/dashboard...

  • แนวคิดดี แต่ดูเหมือนอ่านค่อนข้างยาก ถ้าได้ลองอ่านเองตั้งแต่ต้นจนจบโดยไม่ข้ามก็น่าจะดี

• คอขวดไม่ได้อยู่ที่ขนาดโมเดล แต่อยู่ที่การให้คนที่เข้าใจปัญหาจริง ๆ นิยาม ฟังก์ชันรางวัล

  • ยิ่งใช้การวิจัยอัตโนมัติเป็นกลยุทธ์หลัก ก็ยิ่งได้ข้อสรุปเดียวกันอย่างหนักแน่นขึ้น
    มีภาษาโปรแกรมมิงดี ๆ มากมายสำหรับนิยามวิธีแก้ปัญหา แต่สงสัยว่า ภาษาสำหรับนิยามปัญหาให้ชัดเจน อยู่ที่ไหน