ผลลัพธ์จากการสร้างแอป 4 แบบเดียวกันด้วย GPT-5.6, Grok 4.5, Claude และ Muse Spark

 (tryai.dev)
2 คะแนน โดย GN⁺ 4 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • จากการให้โมเดล 12 ตัวสร้าง raycaster maze, ลูกบาศก์รูบิก 3D, เครื่องคิดเลข และ Conway’s Game of Life พบว่า GPT-5.6 Sol และ Claude Fable 5 แบ่งกันนำในโจทย์ที่ซับซ้อน
  • แต่ละโมเดลลองทำโจทย์ละ 5 ครั้ง และเปิดเผยจำนวนครั้งที่สำเร็จ ต้นทุน เวลา รวมถึงผลงานทั้งหมด แต่มีข้อจำกัดว่าไม่ใช่การประเมินเชิงวิทยาศาสตร์ เป็นเพียงการเปรียบเทียบเชิงอัตวิสัยจากการดูผลงานโดยตรง
  • ใน raycaster GPT-5.6 Sol ทำได้ 5/5 ส่วนในลูกบาศก์รูบิก Claude Fable 5 ทำได้ 5/5 ขณะที่ Claude Opus 4.8 และ GPT-5.6 Luna ทำได้ 0/5 ในโจทย์ลูกบาศก์ แสดงให้เห็นว่า ความต่างตามโมเดลและโจทย์ มีมาก
  • โมเดล open weight ยังมีช่องว่างเมื่อเทียบกับโมเดลระดับบนในโจทย์ที่ซับซ้อนหรือแปลกใหม่ แต่ใน Game of Life ซึ่งมีโค้ดตัวอย่างมาก Qwen 3.7 Plus และ GLM-5.2 ให้ผลลัพธ์ดีด้วยต้นทุนที่ต่ำกว่ามาก
  • Grok 4.5 เป็นทางเลือกที่ประหยัดในระดับ Claude Opus 4.8 สำหรับบางโจทย์ และ Muse Spark 1.1 โดยรวมก็ดีกว่าโมเดล open weight แต่เรือธงรุ่นล่าสุดและแพงที่สุดไม่ได้ชนะทุกโจทย์โดยอัตโนมัติ

วิธีเปรียบเทียบและโมเดลทั้ง 12 ตัว

  • จากข้อเสนอแนะต่อการเปรียบเทียบครั้งก่อน จึงขยายขนาดเป็น 12 โมเดล·4 แอป·โจทย์ละ 5 ครั้ง
  • จากข้อเสนอแนะว่าประเมินจากผลลัพธ์ครั้งเดียวได้ยาก จึงบันทึก จำนวนครั้งที่สำเร็จและผลลัพธ์ที่ชอบ แยกกันในแต่ละโจทย์ และเปิดเผยทุกความพยายามเพื่อให้เห็นความแปรปรวนระหว่างการรัน
  • เป็น การเปรียบเทียบเชิงอัตวิสัย จากการสังเกตผลงานที่สร้างขึ้น ไม่ใช่การตัดสินแบบเป็นกลางหรือเชิงวิทยาศาสตร์

เขาวงกต raycaster สไตล์ Doom

  • ให้สร้างเขาวงกตมุมมองบุคคลที่หนึ่งที่มีการเคลื่อนที่ด้วย WASD, การหมุน, เฉดสีผนังตามความลึก, พื้น·เพดาน และการจัดการการชน
  • ตัดสินความสำเร็จจากเพียงว่า สามารถเคลื่อนที่และหมุนภายในเขาวงกตได้จริงหรือไม่ ไม่ใช่ความสมบูรณ์ด้านภาพ
  • GPT-5.6 Sol ทำได้ 5/5 ด้วยต้นทุน $1.35 ใช้เวลา 120 วินาที และถูกประเมินว่าให้ผลลัพธ์ดีที่สุด เพราะสม่ำเสมอกว่า GPT-5.5 และมีรายละเอียดของเกมมากกว่า
    • GPT-5.6 Luna ก็ทำได้ 5/5, $0.15, 23 วินาที แต่คุณภาพผลลัพธ์ถูกประเมินว่าต่ำกว่า GPT-5.5
    • GPT-5.6 Terra ทำได้ 3/5, $0.44, 39 วินาที รายละเอียดดี แต่บางผลลัพธ์เดินไม่ได้
  • Grok 4.5 ทำได้ 5/5, $0.27, 62 วินาที เป็นทางเลือกที่ใช้งานได้จริงเมื่อเทียบกับราคา ส่วน GPT-5.5 ทำได้ 4/5, $1.44, 138 วินาที
  • ตระกูล Claude ทำได้แย่กว่าที่คาด
    • Claude Opus 4.8 ทำได้ 4/5 อย่างสม่ำเสมอ แต่ผลลัพธ์ค่อนข้างเรียบง่าย
    • Claude Fable 5 ทำได้ 3/5 และสร้างผลลัพธ์ที่ดีได้ แต่ความสม่ำเสมอต่ำ
  • ในกลุ่มโมเดล open weight, Qwen 3.7 Plus และ Kimi K2.6 ทำได้ตัวละ 2/5 ส่วน DeepSeek V4 Pro ทำได้ 3/5
    • GLM-5.2 เรนเดอร์หน้าจอได้ละเอียด แต่ตัวละครไม่เคลื่อนที่เลยสักครั้ง จึงได้เพียง 0/5
  • Muse Spark 1.1 ทำได้ 2/5 แต่ผลลัพธ์ที่ทำงานได้ถูกประเมินว่าใกล้เคียงกับ Fable·Sol และดีกว่า Grok·Opus จึงเป็นผลงานที่เหนือความคาดหมาย

ลูกบาศก์รูบิก 3D

  • ให้สร้างลูกบาศก์ 3D ที่มีสี พร้อมปุ่ม Scramble, Solve และแสดงการหมุนเป็นแอนิเมชันบนหน้าจอ
  • นับว่าสำเร็จเมื่อแอนิเมชันการสลับและการแก้ทำงานได้ลื่นไหลทั้งคู่ โดยไม่มีข้อผิดพลาดหรือ การเปลี่ยนสี
  • Claude Fable 5 ทำได้ 5/5, $2.03, 92 วินาที เป็นตัวเดียวที่สำเร็จอย่างสะอาดครบทั้งห้าครั้ง
    • Claude Opus 4.8 มีข้อผิดพลาดเล็กน้อยหรือการเปลี่ยนสีในทุกผลลัพธ์ จึงได้เพียง 0/5
  • GPT-5.6 Sol และ Terra ทำได้ตัวละ 4/5
    • Sol ให้คุณภาพดีในผลลัพธ์ที่ทำงานได้ แต่มีผลลัพธ์ที่แอนิเมชันแปลก และผลลัพธ์ที่เรนเดอร์ออกมาเป็นสีดำทั้งหมด
    • Terra มีแอนิเมชันการสลับที่แปลก แต่ดีกว่า GPT-5.5 เล็กน้อย
    • Luna หลายครั้งดูเหมือนปกติในตอนแรก แต่พอเริ่มสลับก็พังทันที จึงได้ 0/5
  • GPT-5.5 ทำได้ 4/5 แต่มีสีที่กะพริบและการหมุนที่ไม่ลื่น ส่วน Grok 4.5 ให้ผลลัพธ์เรียบง่ายแต่ดี ทำได้ 3/5
  • Qwen 3.7 Plus, Kimi K2.6, DeepSeek V4 Pro ทำได้ตัวละ 1/5 และ GLM-5.2 ทำได้ 0/5
  • Muse Spark 1.1 ทำได้ 2/5 ดีกว่าโมเดล open weight หนึ่งขั้น แต่เมื่อคำนึงถึงราคา ถูกประเมินว่ายังไม่มีเหตุผลมากพอให้เลือกแทน Grok
  • ตระกูล GPT ที่นำใน raycaster กลับทำได้แย่กว่าคาด ขณะที่ฝั่ง Claude มี Fable เป็นตัวนำผลงาน ทำให้เกิด การพลิกอันดับตามโจทย์

เครื่องคิดเลข

  • กำหนดให้มีปุ่มตัวเลข·ตัวดำเนินการ·ล้างค่า·เครื่องหมายเท่ากับ, ลำดับความสำคัญของตัวดำเนินการที่ถูกต้อง และรูปลักษณ์เหมือนเครื่องคิดเลขจริง
  • ตรวจสอบ ลำดับการคำนวณและการเรนเดอร์ผลลัพธ์ ด้วยการคำนวณพื้นฐานอย่าง (((5 × 5) − 100) / 10) โดยไม่ใช่การทดสอบฟีเจอร์แบบครอบคลุม
  • Claude Opus 4.8 และ Claude Fable 5 ทำได้ 5/5 ทั้งคู่
    • ผลลัพธ์ของ Fable เป็นที่ชอบที่สุดในด้านสไตล์
  • Grok 4.5 ทำได้ 5/5 อย่างเรียบง่ายและสม่ำเสมอ ส่วน GPT-5.6 Luna ก็ทำได้ 5/5 และให้ประสบการณ์ใกล้เคียงกับ Grok
  • GPT-5.6 Sol ทำได้ 5/5 แต่พยายามใส่สไตล์และการนำเสนอ 3D มากเกินไป จนทำให้ประสบการณ์เครื่องคิดเลขที่ควรสะอาดและสม่ำเสมอเสียไป
    • GPT-5.6 Terra และ GPT-5.5 ทำได้ตัวละ 4/5 โดย GPT-5.5 บางครั้งสร้างปุ่มที่ไม่จำเป็นหรือการนำเสนอ 3D ที่ถูกตัดขอบ
  • Muse Spark 1.1 ทำได้ 5/5 ในระดับใกล้เคียงกับ Grok 4.5 แต่บางผลลัพธ์มีลำดับและตำแหน่งปุ่มที่ดูแปลก
  • ในกลุ่มโมเดล open weight, Qwen 3.7 Plus ทำได้ 4/5 ด้วยต้นทุน $0.04 ใช้เวลา 12 วินาที แต่มีผลลัพธ์หนึ่งที่จัดการจำนวนลบไม่ได้
    • DeepSeek V4 Pro ทำได้ 3/5 โดยมีปัญหาลำดับตัวเลขและไม่แสดงผลลัพธ์
    • GLM-5.2 ทำได้ 2/5 แต่ผลลัพธ์ที่สำเร็จมีคุณภาพดี
    • Kimi K2.6 จัดการจำนวนลบไม่ได้ จึงถูกนับเป็น 0/5
  • โมเดล GPT แบบเรียบง่ายทำงานได้ทันทีโดยไม่ต้องแก้ไขเพิ่มเติม และการทำแบบ เน้นฟังก์ชันพื้นฐาน ให้ประสบการณ์ดีกว่าผลลัพธ์ที่เพิ่มเอฟเฟกต์ภาพซับซ้อน

Conway’s Game of Life

  • ให้ทำ grid canvas, Play, Pause, Step, Randomize, Clear, การคลิกสลับสถานะเซลล์ และแอนิเมชันของแต่ละ generation
  • โจทย์นี้ไม่ได้ใช้ การตัดสินสำเร็จ 5 ครั้ง แยกต่างหาก แต่เปรียบเทียบเฉพาะต้นทุน·เวลาและความประทับใจโดยรวม
  • Grok 4.5 ให้ผลลัพธ์ดี และเพราะโจทย์เองค่อนข้างง่าย อีกทั้งมีโค้ดตัวอย่างสาธารณะมาก โมเดล open weight จึงทำได้ดีมากเช่นกัน
  • Qwen 3.7 Plus ใช้ $0.04, 11 วินาที และ GLM-5.2 ใช้ $0.10, 121 วินาที ให้ผลลัพธ์ดีด้วยต้นทุนต่ำ จึงถูกประเมินว่าเหมาะกับงานประเภทนี้
  • ในโจทย์อื่นที่ซับซ้อน โมเดล open weight ยังเผชิญความยากลำบากต่อเนื่อง ดังนั้นจึง ยากที่จะขยายผลลัพธ์ของ Game of Life ไปเป็นสมรรถนะทั่วไป
  • ต้นทุน·เวลาสำคัญอื่น ๆ คือ Grok 4.5 $0.14·38 วินาที, GPT-5.6 Luna $0.13·18 วินาที, Terra $0.36·25 วินาที, Sol $0.99·62 วินาที และ Muse Spark 1.1 $0.32·98 วินาที

ความเร็วและต้นทุนของคำตอบสั้น

  • ในพรอมป์ต์สั้น ตระกูล GPT-5.6 มีเวลาเริ่มตอบสนองเร็วที่สุด
    • Luna คือ 1.0 วินาที·97 tok/s·$0.001
    • Terra คือ 1.5 วินาที·62 tok/s·$0.001
    • Sol คือ 1.8 วินาที·45 tok/s·$0.003
  • Qwen 3.7 Plus ทำได้ 2.1 วินาที·204 tok/s·$0.001 ซึ่งถูกและเร็วมาก ส่วน Grok 4.5 คือ 3.0 วินาที·112 tok/s·$0.003 และ Muse Spark 1.1 คือ 3.1 วินาที·125 tok/s·$0.002
  • Claude Opus 4.8 คือ 2.5 วินาที·44 tok/s·$0.004 แต่ Claude Fable 5 ช้ากว่าและแพงกว่า ที่ 6.6 วินาที·30 tok/s·$0.01
  • DeepSeek V4 Pro คือ 9.3 วินาที·37 tok/s·$0.001 และ GLM-5.2 คือ 7.0 วินาที·58 tok/s·$0.001 โดย เริ่มตอบสนองช้า
  • โมเดล open weight บางตัวปล่อยคำตอบทั้งหมดออกมาพร้อมกันและชนเพดาน 400 โทเค็น ดังนั้นค่า tok/s ที่แสดงจึงเป็น ค่าขีดจำกัดบน ไม่ใช่ความเร็ว decode จริง

โจทย์โบนัส SVG

  • ให้สร้าง SVG ในครั้งเดียวโดยไม่ใช้ไลบรารี และเลือกผลลัพธ์ที่ละเอียดที่สุดหลังให้ความสำคัญกับ SVG ที่ใช้ได้จากผลลัพธ์ 5 ชิ้น
  • ในฉากม้าที่มีนักบินอวกาศขี่อยู่ Claude Fable 5 ให้ผลลัพธ์ดีทั้งด้านคุณภาพและอารมณ์ขัน
    • ตระกูล GPT ทำได้แย่กว่าคาด เพราะเรนเดอร์ม้าและนักบินอวกาศได้ไม่เรียบร้อย
    • Grok 4.5 ก็สร้างผลลัพธ์ที่ดีเช่นกัน
  • ในฉากที่ยากกว่า ซึ่ง Elon Musk และ Jeff Bezos กำลังดู booster ของ Blue Origin ลงจอดบนแท่นกลางทะเล Claude Fable 5 ยังนำอยู่
    • จัดองค์ประกอบละเอียดถึงส่วนเงาวาวบนหน้าผากของ Bezos และควันรอบแท่นลงจอด พร้อมเรนเดอร์ได้สะอาด
    • ตระกูล GPT ให้ผลลัพธ์แบบการ์ตูน และยังมีข้อผิดพลาดเล็ก ๆ ในแต่ละผลงาน
    • GLM-5.2 และ Qwen 3.7 ก็ทำผลงานได้ดีในโจทย์ SVG นี้

การเลือกโมเดลเปลี่ยนไปตามโจทย์

  • ใน raycaster และลูกบาศก์รูบิกที่ซับซ้อนและแปลกใหม่ ความได้เปรียบของโมเดลระดับบน ชัดเจน โดย GPT-5.6 Sol และ Claude Fable 5 ต่างมีจุดแข็งของตัวเอง
  • ในโจทย์ที่เรียบง่ายและมีการใช้งานแพร่หลาย Qwen 3.7 Plus และ GLM-5.2 สามารถให้ผลลัพธ์ที่แข่งขันได้ด้วยต้นทุนต่ำกว่ามาก
  • Grok 4.5 ทำได้ถึงระดับ Claude Opus 4.8 ในบางโจทย์ จึงมีผลงานที่เหมาะใช้เป็นโมเดลช่วยรันเมื่อให้ความสำคัญกับต้นทุน
  • Muse Spark 1.1 ต่ำกว่า Grok 4.5 หนึ่งขั้น แต่โดยรวมดีกว่าโมเดล open weight และยังไม่ถึงระดับที่ควรเลือกเป็นอันดับแรกในตอนนี้
  • อันดับของ Sol, Fable, Grok และโมเดล open weight ราคาต่ำเปลี่ยนไปตามโจทย์ ทำให้ เรือธงรุ่นล่าสุดและแพงที่สุดไม่ได้ชนะเสมอไป

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 4 시간 전
ความคิดเห็นบน Hacker News

  • สำนวนอย่าง “พูดกันตรง ๆ มีจุดหนึ่งที่ต้องชี้ให้เห็น” หรือ “ไม่มีข้อผิดพลาด และสีก็ไม่เปลี่ยน” เป็นเกณฑ์แยกแยะที่ดี อ่านจนจบแล้วก็จริง แต่ถ้าเป็น บทความที่คนเขียนเอง คงจะดีกว่านี้

    • รู้สึกว่าได้ยินคำว่า “Honestly” จาก Anthropic บ่อยกว่าจากคนทั้งหมดรวมกันเสียอีก
    • เอาภาษาใหม่เฉพาะตัวของ LLM ไปใส่ใน Transformer อีกตัวเพื่อกำจัดประโยคน่ารำคาญพวกนั้นไม่ได้หรือ? ไม่น่าจะยาก และทุกคนก็ได้ประโยชน์

  • ยอมรับว่าเป็นบทความที่ทำมาดีและตั้งใจมาก แต่พออ่านย่อหน้าประมาณนี้แล้วก็หมดใจต่อบทความทั้งชิ้น
    “ใช้ตารางแยกสำหรับแต่ละคำถาม นี่ไม่ใช่งาน build แต่เป็นเครื่องมือทดสอบ latency มาตรฐาน…”, “ดังนั้นจำนวน token ต่อวินาทีจึงเป็นเพดานบน ไม่ใช่ความเร็ว decoding จริง…”
    การเขียนสองประโยคนี้เองด้วยน้ำเสียงปกติของตัวเองมันยากขนาดนั้นจริงหรือ?

    • ไม่รู้ว่า สไตล์การเขียนเฉพาะตัว แบบนี้มาจากไหน และแทบจะกำจัดไม่ได้เลย จึงรำคาญมาก
    • มันชัดเกินไปและชวนไม่สบายใจ ควรเขียนสิ่งที่ตัวเองอยากพูดด้วยตัวเองเหมือนคนปกติ
      การใช้ AI สร้างบทความไม่ใช่แค่ขี้เกียจ แต่ยังจืด น่าเบื่อ และไม่เคารพเวลาของผู้อ่าน
    • ถ้าถามเพื่อถกเถียงกัน สมมติว่านั่นเป็น น้ำเสียงธรรมชาติของผู้เขียน จริง ๆ ล่ะ?
    • ผมเองก็เคยเขียนแบบนั้นเป็นครั้งคราวมาตั้งนานก่อน LLM จะออกมาแล้ว ตอนนี้เบื่อเต็มทีที่ต้องอ่านคำตำหนิแบบนี้
    • หลัง AI โผล่มา ผู้คนอ่อนไหวเกินไป เหมือนกำลังจู้จี้เพราะโปรแกรมเมอร์ไม่ได้เขียนร้อยแก้วให้ตรงรสนิยมตัวเอง

  • อาจเป็นเพราะผมเป็นพวกชอบควบคุมมากเกินไปก็ได้ แต่การให้เอเจนต์ทำแอปสุ่มให้ เสร็จในครั้งเดียว ไม่เหมือนวิธีใช้ AI ในวิศวกรรมซอฟต์แวร์จริงเลย

    • สำหรับครีเอเตอร์เดี่ยว เบนช์มาร์กแบบ one-shot ค่อนข้างมีประโยชน์ เพราะมันสัมพันธ์ในระดับหนึ่งกับการที่โมเดลระดับแนวหน้าที่ดีกว่า—ในกรณีของผมคือ Opus กับ Fable—ตัดสินใจได้ดีกว่าในส่วนที่ไม่ได้ระบุไว้หรือไม่ และให้ข้อเสนอที่ดีกว่าตั้งแต่ต้นหรือไม่
    • หากมองตามสเกลเวลาของ LLM โมเดลต่าง ๆ ทำ การสร้างแอปใหม่ ได้ดีมาค่อนข้างนานแล้ว
      วิธีทำให้สร้างแอปใหม่ได้ดียิ่งขึ้นก็น่าสนใจ แต่ผมอยากรู้มากกว่าว่ามันจะแก้ปัญหายาก ๆ ใน codebase เดิมที่ซับซ้อนยุ่งเหยิงได้อย่างไร
    • ถ้าให้สร้างแอปพื้นฐานในครั้งเดียว แล้วค่อยเพิ่มคำขอฟีเจอร์ทีละอย่าง น่าจะเป็นวิธีที่ชัดเจนในการประเมิน สถาปัตยกรรมและความสามารถในการบำรุงรักษา
    • มันต่างจากการใช้งานจริงก็จริง แต่ต้องทำแบบนั้นถึงจะดังบน Twitter/X ได้
    • ถึงจะไม่เหมือนการใช้งานจริง แต่นี่คือความพยายามที่จะนำ เกณฑ์วัดเชิงวัตถุวิสัย เข้ามาในด้านนี้อย่างน้อยบ้าง แทนที่จะพึ่งแค่ความรู้สึก

  • (LM)Arena ทำหน้าที่แบบนี้อยู่โดยพฤตินัย และผมคิดว่าเป็นการทดสอบที่ดีที่สุดกลุ่มหนึ่งในการหลีกเลี่ยงการปรับจูนมากเกินไปเพื่อคะแนนเบนช์มาร์กอย่างเดียว
    เอเจนต์: https://arena.ai/leaderboard/agent
    Web development: https://arena.ai/leaderboard/code/webdev
    ตอนนี้ในหมวด web development Fable กับ 5.6 สูสีกันมาก และผลก็เกือบเหมือนกับบทความนี้

    • ถ้าตั้งใจจริง ก็สามารถ ปรับแต่งให้เข้ากับคะแนน ใน Arena ได้ในระดับหนึ่ง prompt distribution ที่นั่นค่อนข้างต่างจากการใช้งานจริงของนักพัฒนาทั่วไป โดยเฉพาะมีคำขอจำนวนมากให้สร้างเกมตั้งแต่ศูนย์ในครั้งเดียว
      หาก fine-tune ให้เชี่ยวชาญด้านการสร้างเกมสนุก ๆ ในครั้งเดียวจาก prompt ที่ไม่เพียงพอ ก็อาจทำให้ประสิทธิภาพของโมเดลเขียนโค้ดดูดีกว่าความสามารถในงานทั่วไป ผมทำงานที่ OpenAI แต่พวกเราไม่ได้พยายามปั่นคะแนน เพราะถ้าทำแบบนั้น Arena จะกลายเป็นตัวชี้วัดที่แย่ลงสำหรับทุกคน
    • โดยเฉพาะฝั่ง Facebook มี การปรับแต่งให้เข้ากับคะแนน Arena ค่อนข้างมาก แต่ก็เห็นด้วยว่ามันยังเป็นหนึ่งในเบนช์มาร์กจริงที่ดีกว่า
      การลองให้จำลองเอฟเฟกต์ demoscene คลาสสิกขึ้นมาใหม่นั้นสนุกเสมอ การสร้างเพลงยังแย่มาก แต่ Claude อย่างน้อยก็ดูเหมือนจะสร้างซินธิไซเซอร์ที่ใช้ได้ การพยายามให้จำลองเอฟเฟกต์ของไหลและอนุภาคของ Agenda Circling Forth แม้จะให้ทั้งบทความอธิบายการใช้งานและภาพหน้าจอแล้ว ก็ยังทำได้ไม่ดีอยู่ดี
    • สงสัยว่าทำไม Grok 4.5 ยังไม่อยู่ในรายการ รุ่น 5.6 ที่ออกทีหลังยังขึ้นไปแล้ว

  • เบนช์มาร์กเชิงภาพ แบบนี้มีแนวโน้มจะแสดงให้เห็นความรู้—คือข้อมูลฝึกครอบคลุมแค่ไหน และโมเดลดึงมันออกมาใช้ได้ดีเพียงใด—มากกว่าความสามารถในการให้เหตุผล
    ผมไม่เห็นว่าโมเดลจะสร้าง chain of thought (CoT) ที่จับคู่โครงสร้างเรขาคณิตและแอนิเมชันของลูกบาศก์เข้ากับ representation ใน latent space ได้อย่างไร หากไม่มีข้อมูลล่วงหน้าจำนวนมาก

    • มีหลักฐานไหมว่า LLM มี ความสามารถในการให้เหตุผลแบบใหม่ อยู่จริง? ผมพยายามเท่าไรก็ทำให้มันใช้งานได้ไม่ได้ และคิดว่าเปเปอร์ของ Apple ที่ออกมาก่อนหน้านี้ก็เป็นหลักฐานหนักแน่นว่าไม่มีความสามารถนั้น
      จากประสบการณ์ของผม ถ้า latent space เบาบาง การให้เหตุผลจะล้มเหลวอย่างสิ้นเชิงและน่าขำ
    • Anthropic อาจได้เปรียบในการทดสอบแบบนี้จากข้อมูลที่ได้มาจาก Canva

  • วันนี้เราก็เพิ่ม GPT 5.6 Sol, Terra, Luna เข้าไปใน Model Arena ของเราแล้ว ซึ่งมีโมเดล 26 ตัว แต่ละตัวสร้างแอป 52 แอป
    https://arena.logic.inc/
    การเทียบแอปของทั้งสามโมเดลแบบวางข้างกันน่าสนใจมาก เรายังต้องเพิ่มสถิติใน UI แต่ เวลาจริงที่ Terra ใช้ เป็นครึ่งหนึ่งของ Sol ส่วน Luna กลับใช้เวลามากกว่า Sol ราว 23%
    แม้ Luna จะถูกกว่ามาก แต่สำหรับการใช้งานส่วนใหญ่ Terra ดูเหมือนจะมีสมดุลระหว่างเวลาและต้นทุนดีกว่า คุณภาพของ Terra โดยรวมแทบจะใกล้เคียง Sol ขณะที่เร็วและถูกกว่ามาก อย่างไรก็ดี ผมชื่นชมเซนส์ด้านดีไซน์ของ Sol ในงานอย่าง audio sequencer อยู่ดี ช่วงหนึ่งผลลัพธ์เชิงภาพของทุกโมเดลดูคล้ายกันไปหมด แต่ด้านนี้เป็นครั้งแรกในรอบนานที่มีโมเดลแตกต่างอย่างชัดเจน

    • ตัวเลขที่สะดุดตาคือ GPT-5.6 Sol มีโค้ด 1,264 บรรทัด ไฟล์ 35.5KB, gzip 10.0KB ขณะที่ GPT-5.6 Terra มี 827 บรรทัด, 20.0KB, gzip 6.7KB

  • ผลนี้ดูเหมือนจะสนับสนุนคำวิจารณ์ว่าโมเดลอย่าง GLM ถูกปรับให้เหมาะกับเบนช์มาร์กมากเกินไป และไม่ได้ใกล้เคียงโมเดลระดับแนวหน้าอย่างที่คิดกันจากการดูตัวเลขอย่างเดียว

  • ผมชอบ วิธีประเมิน AI แบบนี้มากกว่าเบนช์มาร์กอื่น ๆ มาก
    โลกจริงซับซ้อน และเบนช์มาร์กอื่น ๆ เห็นได้ชัดว่าโมเดลเปิดจากจีนโจมตีได้ง่าย สไตล์การเขียนของบทความก็ไม่ได้รบกวนผม และอ่านได้ดีพอ

  • บทความที่เกี่ยวข้องล่าสุด: การเปรียบเทียบโดยให้ Grok 4.5, GPT-5.5, Claude สร้างแอปเดียวกัน
    https://news.ycombinator.com/item?id=48838772 — กรกฎาคม 2026, 92 ความคิดเห็น

  • ขาด prompt ที่แน่นอน ทำให้ยากหากอยากลองทำซ้ำ
    ยังสงสัยด้วยว่าเขาเขียน prompt อย่างไร ซึ่งอาจเป็นสาเหตุใหญ่ที่ทำให้บางโมเดลอย่าง GLM 5.2 ล้มเหลวโดยสิ้นเชิงในการ render SVG