Qwen VLo - จากการ “เข้าใจ” โลก สู่การ “พรรณนา” โลก
(qwenlm.github.io)- Qwen VLo เป็น โมเดลพรีวิว ที่ขยายความสามารถด้านการเข้าใจภาพของ QwenVL·Qwen2.5 VL ไปสู่การสร้างภาพ และสามารถลองใช้งานได้ทันทีใน Qwen Chat
- ใช้ การสร้างแบบค่อยเป็นค่อยไป โดยประกอบภาพจากซ้ายไปขวา จากบนลงล่าง แทนที่จะสร้างภาพให้เสร็จในครั้งเดียว เพื่อเพิ่มความสอดคล้องและความกลมกลืนของผลลัพธ์
- มุ่งเน้น การสร้างภาพใหม่จากต้นฉบับ โดยรักษาความหมายและโครงสร้างของภาพเดิมไว้ พร้อมเปลี่ยนสี สไตล์ หรือวัตถุ
- รองรับงานต่าง ๆ ด้วยคำสั่งภาษาธรรมชาติเท่านั้น ตั้งแต่เปลี่ยนพื้นหลัง เพิ่ม/ลบวัตถุ แปลงสไตล์ แก้ไขข้อความ ทำโปสเตอร์ ไปจนถึงสร้างข้อมูล depth map, segmentation map, detection map และ edge information
- เนื่องจากยังอยู่ใน ขั้นพรีวิว จึงอาจมีความไม่ถูกต้อง ผลลัพธ์ที่ไม่ตรงกับต้นฉบับ หรือไม่ทำตามคำสั่งได้ และฟีเจอร์บางส่วน เช่น การรับอินพุตหลายภาพและการสร้างภาพในอัตราส่วนสุดโต่ง ยังอยู่ก่อนการเปิดตัวอย่างเป็นทางการ
บทบาทและแนวทางของ Qwen VLo
- Qwen VLo เป็นโมเดลที่ผสานการเข้าใจและการสร้างแบบมัลติโมดัล จากเดิมที่เข้าใจภาพ ไปสู่การสร้างภาพขึ้นใหม่บนพื้นฐานของความเข้าใจนั้น
- เวอร์ชันปัจจุบันเป็น พรีวิว และใช้งานได้ที่ Qwen Chat
- สามารถสร้างภาพจากข้อความล้วน หรืออัปโหลดภาพแล้วแก้ไขด้วยภาษาธรรมชาติได้
- สามารถสร้างภาพด้วยพรอมป์ต์ข้อความ เช่น “Generate a picture of a cute cat”
- หลังอัปโหลดภาพแมว สามารถสั่งแก้ไขภาพได้ เช่น “Add a cap on the cat’s head”
การสร้างแบบค่อยเป็นค่อยไปจากซ้ายไปขวา
- Qwen VLo ใช้วิธี การสร้างแบบค่อยเป็นค่อยไป โดยประกอบภาพตามลำดับ
- ออกแบบมาให้ปรับแต่งและเพิ่มประสิทธิภาพการคาดการณ์อย่างต่อเนื่องระหว่างการสร้าง เพื่อยกระดับ ความสอดคล้อง และความกลมกลืนของภาพสุดท้าย
- กลไกนี้ช่วยเพิ่มคุณภาพเชิงภาพ และมอบประสบการณ์การสร้างสรรค์ที่ผู้ใช้ควบคุมผลลัพธ์ได้ยืดหยุ่นยิ่งขึ้น
- เมื่อใช้ร่วมกับการสร้างแบบความละเอียดไดนามิก จึงเหมาะกับงานที่ต้องควบคุมรายละเอียดสูง เช่น โฆษณาที่มีข้อความยาว หรือแผงการ์ตูน
- สามารถตรวจดูขั้นตอนการสร้างทีละส่วนและปรับแบบเรียลไทม์ได้
ความสามารถที่ขยายจากการเข้าใจไปสู่การสร้าง
-
การสร้างใหม่โดยคงโครงสร้างต้นฉบับ
- โมเดลมัลติโมดัลเดิมอาจสร้างภาพที่ความหมายคลาดเคลื่อน เข้าใจรถยนต์เป็นวัตถุอื่น หรือรักษาโครงสร้างหลักของต้นฉบับไม่ได้
- Qwen VLo ตั้งเป้ารักษา ความสอดคล้องเชิงความหมาย ในระดับสูงระหว่างการสร้าง ด้วยการเสริมความสามารถในการจับรายละเอียด
- หากขอให้ “เปลี่ยนสี” ภาพรถยนต์ โมเดลสามารถระบุรุ่นรถและเปลี่ยนสไตล์สีโดยยังรักษาโครงสร้างเดิมไว้ได้
-
การแก้ไขภาพด้วยภาษาธรรมชาติ
- รองรับคำสั่งอย่าง “เปลี่ยนภาพนี้เป็นสไตล์ Van Gogh”, “ทำให้เหมือนภาพถ่ายศตวรรษที่ 19”, “เพิ่มท้องฟ้าแจ่มใส”
- รองรับงานอย่างการแปลงสไตล์ศิลปะ การจัดองค์ประกอบฉากใหม่ และการปรับแก้รายละเอียด
- งานการรับรู้ภาพแบบดั้งเดิม เช่น การคาดการณ์ depth map, segmentation map, detection map และ edge information ก็สามารถทำได้ผ่านคำสั่งแก้ไข
- สามารถจัดการคำสั่งผสม เช่น แก้ไขวัตถุ แก้ไขข้อความ และเปลี่ยนพื้นหลัง ภายในคำสั่งเดียวได้
-
รองรับคำสั่งหลายภาษา
- รองรับหลายภาษา รวมถึงภาษาจีนและภาษาอังกฤษ
- ผู้ใช้สามารถอธิบายความต้องการและรับผลลัพธ์ได้โดยไม่ขึ้นกับภาษา
ประเภทงานที่เห็นได้จากเดโม
-
การสร้างภาพและการแก้ไขต่อเนื่อง
- แสดงลำดับงานตั้งแต่สร้าง Shiba Inu น่ารัก จากนั้นเปลี่ยนพื้นหลังเป็นทุ่งหญ้า เพิ่มหมวกสีแดงและแว่นกันแดดสีดำแบบโปร่งใส แล้วใส่ข้อความ “QwenVLo” บนหมวก
- เปลี่ยนภาพเดียวกันเป็นสไตล์ Ghibli หรือสไตล์ 3D Q-version หรือใช้วัตถุที่แก้ไขแล้วต่อเนื่องในบริบทการแก้ไขถัดไป
- ยังรวมงานตรวจจับปากกาด้วยมาสก์สีน้ำเงิน หรือแบ่งส่วนขอบสุนัขด้วยมาสก์สีชมพู
-
การแปลงสไตล์และการตีความใหม่
- สามารถเปลี่ยนการ์ตูนให้เป็นภาพถ่ายจริง เปลี่ยนพื้นหลังเป็น Eiffel Tower หรือทำให้บุคคลลอยกลางอากาศเหมือนลูกโป่งได้
- รวมถึงงานเปลี่ยนภาพคู่รักเป็นสติกเกอร์ภาพประกอบ flat แบบมินิมอล หรือฟิกเกอร์สะสมแบบ 3D rendering และเพิ่มข้อความ “Happy Wedding”
- ครอบคลุมการแปลงเป็นสไตล์ Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft และ pixel art
- ยังมีตัวอย่างการเปลี่ยนแมวเป็นสไตล์ Pixar 3D หรือแปลงเส้นขอบฟ้ายามค่ำคืนของ Miami ให้เป็นสไตล์โมเดลลิงวัสดุพิเศษพื้นผิวเยลลี่
-
การจัดการพรอมป์ต์ซับซ้อน
- สามารถสร้างภาพที่มีผู้ชายสวมหมวกสีดำในรถไฟใต้ดิน ผู้หญิงสวมแว่นกันแดดสีแดง Husky, Statue of Liberty นอกหน้าต่าง และป้ายสถานี “Qwen VLo” อยู่ร่วมกัน
- ยังจัดการคำสั่งที่ต่อยอดจากผลลัพธ์ก่อนหน้าได้ เช่น ฉากมุมมองบุคคลที่หนึ่งกำลังวาดไดอะแกรมลงในสมุด หรือฉาก Isaac Newton สาธิตการทดลองด้วยปริซึม
- รวมถึงพรอมป์ต์แบบโปสเตอร์ที่สร้างภาพถ่ายขนาดใหญ่แบบมุมกว้าง โดยมีแมวดำเป็นตัวเอก เผชิญหน้ากับฝูงสัตว์ เอเลี่ยน และจานบิน
การสร้างโปสเตอร์และภาพที่มีข้อความ
- Qwen VLo รองรับทั้งงานที่ใช้ข้อความและภาพเป็นอินพุตร่วมกัน รวมถึง การสร้างข้อความเป็นภาพ
- นอกจากภาพทั่วไป ยังสามารถสร้าง โปสเตอร์สองภาษา ที่มีภาษาจีนและภาษาอังกฤษได้
- งานศิลปะแอนิเมชันพ่อมดยามค่ำคืนที่มีข้อความ “Qwen VLo!” ทำจากพลังงาน
- ฉากเซลฟีแมวสีส้มที่สวมแว่นกันแดดและที่ปิดหู
- ภาพแบบโปสเตอร์ที่มีข้อความอย่าง “2025”, “A New Beginning”, “新的开始”, “长安”, “Father’s Day”
- ในโปสเตอร์โฆษณา ครอบคลุมการจัดวางกระป๋องกาแฟ กาต้มน้ำสำหรับ hand drip พาเลตสีกาแฟ และหัวข้ออย่าง “一杯咖啡，唤醒你的清晨”
- ตัวอย่างโปสเตอร์อื่นวางผลิตภัณฑ์โคมไฟเป็นองค์ประกอบภาพหลักตรงกลาง พร้อมพื้นหลังสีน้ำเงินเข้ม รัศมีแสงสีส้มอบอุ่น และข้อความ “Illuminating not just the desk, but an attitude.”
การสร้างที่รวมการรับรู้และการรับรู้ตำแหน่ง
- นอกจากการสร้างและแก้ไขแล้ว Qwen VLo ยังสามารถเพิ่ม คำอธิบายประกอบ บนภาพเดิมได้
- ตัวอย่างงานประกอบด้วย
- สร้างโต๊ะที่เต็มไปด้วยผลไม้ แล้วคาดการณ์แผนที่ตรวจจับขอบ
- แบ่งส่วนขอบกล้วยในภาพด้วยมาสก์สีแดง
- ทำเครื่องหมายโทรศัพท์มือถือในภาพโต๊ะรกด้วยกรอบสีแดง
- ลบโทรศัพท์มือถือที่ถูกทำเครื่องหมาย แล้วเพิ่มกาแฟบนโต๊ะ
- แปลงภาพสุดท้ายเป็นภาพตรวจจับขอบ
- เพราะเป็นโมเดลที่รวมการเข้าใจและการสร้างเข้าด้วยกัน จึงสามารถนำภาพที่สร้างขึ้นมาวิเคราะห์ซ้ำได้
- ในตัวอย่างที่สร้างสุนัขและแมวแล้วถามสายพันธุ์ โมเดลระบุว่าสุนัขเป็น Beagle หรือ Beagle mix และแมวเป็น Tabby cat
ความละเอียด อัตราส่วนภาพ และอินพุตหลายภาพ
- Qwen VLo ใช้ การเรียนรู้ความละเอียดไดนามิก เพื่อรองรับการสร้างแบบความละเอียดไดนามิก
- ทั้งอินพุตและเอาต์พุตรองรับภาพที่มีความละเอียดและอัตราส่วนภาพใด ๆ
- สามารถสร้างภาพให้เหมาะกับสถานการณ์ต่าง ๆ เช่น โปสเตอร์ ภาพประกอบ เว็บแบนเนอร์ หรือหน้าปกโซเชียลมีเดีย โดยไม่ถูกจำกัดกับฟอร์แมตตายตัว
- รองรับฟอร์แมตยาวอย่าง 4:1 หรือ 1:3 ได้ด้วย
- อย่างไรก็ตาม ฟีเจอร์สร้างภาพในอัตราส่วนภาพสุดโต่งยังอยู่ก่อนการเปิดตัวอย่างเป็นทางการ
- ยังมีความสามารถในการเข้าใจและสร้างจากภาพอินพุตหลายภาพ
- ตัวอย่างคือการนำภาพผลิตภัณฑ์อาบน้ำไปใส่ในภาพตะกร้าสีแดง
- ฟีเจอร์อินพุตหลายภาพยังอยู่ก่อนการเปิดตัวอย่างเป็นทางการ
ข้อจำกัดในขั้นพรีวิวและทิศทางถัดไป
- Qwen VLo ยังอยู่ใน ขั้นพรีวิว จึงยังมีข้อจำกัดหลายประการ
- อาจเกิดความไม่ถูกต้องระหว่างกระบวนการสร้าง
- ผลลัพธ์อาจไม่ตรงกับภาพต้นฉบับ
- อาจไม่สามารถทำตามคำสั่งได้
- ความเสถียรในการรับรู้และเข้าใจเจตนาของภาพที่สร้างขึ้นอาจยังไม่เพียงพอ
- ในอนาคตมีแผนปรับปรุงความเสถียรและความแข็งแกร่งอย่างต่อเนื่อง
- โมเดลภาษาขนาดใหญ่แบบมัลติโมดัลสามารถจัดการอินพุต/เอาต์พุตทั้งข้อความและภาพแบบสองทาง และส่งคำตอบได้ไม่ใช่แค่ในรูปข้อความ แต่เป็นรูปภาพด้วย
- การสร้างไดอะแกรม การเพิ่มเส้นช่วย และการใส่คำอธิบายประกอบในพื้นที่สำคัญ สามารถใช้เป็น เครื่องมือสื่อสาร ที่หลากหลายยิ่งขึ้นได้
- ยังมีแผนสำรวจต่อเนื่องในทิศทางการสร้างผลลัพธ์ขั้นกลาง เช่น segmentation map หรือ detection map เพื่อให้โมเดลตรวจสอบความเข้าใจของตนเองและปรับปรุงประสิทธิภาพ
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
น่าเสียดายที่ ไม่เปิดเผย weights จุดแข็งของ Qwen ในอดีตคือกลยุทธ์เปิดเผย weights และคงดีถ้ามีโมเดล open weights จริง ๆ ที่มาแข่งกับการสร้างภาพแบบ autoregressive ของ 4o
มีแนวทางวิจัยที่น่าสนใจมากมายซึ่งทำได้ก็ต่อเมื่อเข้าถึง weights ได้ ถ้ากังวลเรื่องการคืนทุนพัฒนา ก็อาจอ้างอิงแนวทางแบบการเปิดตัว Flux Kontext Dev ของ BFL ที่ให้ weights ฟรีแก่นักวิจัยและบุคคลทั่วไป และเก็บค่าไลเซนส์เชิงพาณิชย์ในราคาสมเหตุสมผลกับสตาร์ตอัป
ดูจาก โทนสีส้ม ของภาพแล้ว ค่อนข้างชัดว่าเทรนจากเอาต์พุตของ OAI สงสัยว่าเคยพยายามสร้างข้อมูลของตัวเองบ้างหรือไม่
สุดท้ายก็เทรนด้วย OAI ปิดพอ ๆ กับ OAI และที่สำคัญคือแย่กว่า OAI อีก การขังของแบบนี้ไว้หลัง API เป็นกลยุทธ์ที่แปลก
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
ไม่รู้เพราะเหตุใด แต่ดูเหมือนว่ายุคของ open weights ในจีน จะจบลงแล้ว เหมือนเป็นความเคลื่อนไหวที่เกิดขึ้นกะทันหันและมีการประสานกัน
Alibaba หยุดเปิด Qwen, Tencent หยุดเปิด Hunyuan และ Seedream ของ Bytedance ก็ออกมาแบบปิด ถึงอย่างนั้นก็ดูชัดเจนว่ายังเทรนจากเอาต์พุตของโมเดลตะวันตกอยู่ ในเชิงกลยุทธ์ผมคิดว่าควรไปทางเปิด 100% แล้วขายโครงสร้างพื้นฐาน/บริการมากกว่า
ถ้าจะบอกว่าเป็น open weights ก็น่าจะต้องให้คนใช้ได้อย่างเสรีไม่ใช่หรือ
วิธีที่เสนอมาใกล้กับ weights แบบทดลอง, weights แบบ shareware หรือ weights สำหรับงานวิชาการ มากกว่าจะเป็น open weights ถ้าขาดความหมายแบบซอฟต์แวร์โอเพนซอร์สที่เอาไปใช้กับอะไรก็ได้ คำว่า “open” ก็ทำให้เกิดความเข้าใจผิด
ส่วนตัวผมสงสัยว่ารายได้จากค่าบริการสร้างภาพอย่างเดียวจะคืนทุนการลงทุนระดับหลายสิบล้านดอลลาร์ เวลา GPU และเงินเดือนวิศวกรได้จริงหรือไม่
สำหรับผม ภาพพวกนี้ทั้งหมดติดอยู่ใน uncanny valley ทั้งหมด สีและเงาดูผิดเพี้ยนไปหมด
ดูจากตัวอย่างแก้ไขภาพหมี โมเดลเหมือนจะเปลี่ยนมากกว่าที่ขอ
บอกให้เปลี่ยนพื้นหลัง แต่ตัวหมีเองก็เปลี่ยนไปหมด เสื้อยังเหมือนเดิมแต่ขนกับหน้าชัดเจนว่าไม่เหมือนเดิม ตอนเปลี่ยนหมีเป็นลูกโป่งก็เปลี่ยนพื้นหลัง เอาถนนลาดยางออก และเมล็ดแตงโมด้านซ้ายก็หายไปด้วย สงสัยว่าจะแก้ด้วยพรอมป์ที่ดีกว่านี้ได้ไหม หรือเป็นข้อจำกัดของโมเดล/สถาปัตยกรรม
ตามธรรมเนียมการทดสอบ ผมลองทำภาพ นกกระทุงขี่จักรยาน เป็นภาพแทน SVG และลองทำภาพแอคคอร์เดียนอีกสองสามภาพด้วย ยังมีปัญหาเล็กน้อยกับการจัดนิ้วและคีย์ดำให้ถูกต้อง แต่ก็เร็วพอสมควร
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
ความท้าทายอยู่ที่การใช้ SVG ไม่ใช่ฟอร์แมตแบบพิกเซล เพราะการสร้าง SVG ให้ถูกต้องต้องอาศัยการให้เหตุผลในระดับหนึ่ง
แปลกดีที่ตัวอย่างการเปลี่ยนภาพ เช่นการแก้ไขหรือสไตล์ทรานสเฟอร์ มี โทนเหลืองอ่อน แบบที่เห็นใน GPT Image 1 ซึ่งเป็นโมเดลภาพล่าสุดของ ChatGPT 4o ส่วน Flux Kontext ดูเหมือนไม่มีอารมณ์แบบนั้น เลยสงสัยว่าทำไม
ผมไม่รู้ว่าจะหยุดการอ่านออกเสียงอัตโนมัติยังไง เว็บไซต์น่าจะอยู่เฉย ๆ แล้วรอจนกว่าผมจะสั่งไม่ใช่หรือ
บน watch วิดีโอเล่นอัตโนมัติแบบเต็มจอแล้วก็เริ่มอ่านทันที ใช้ Firefox บน iOS อยู่
อันนี้อิงจาก Firefox Android เลยไม่แน่ใจว่าเวอร์ชัน iOS มีเหมือนกันไหม เดสก์ท็อปก็มีเช่นกัน และสามารถบล็อกคำขอให้เว็บไซต์ส่งการแจ้งเตือนได้ทั้งหมดจากตรงนั้น
ในฐานะนักวิจัย machine learning และผู้มีวุฒิด้านฟิสิกส์ ผมค่อนข้างระวังกับการใช้คำว่า เข้าใจ และ “พรรณนา” กับโมเดลแบบนี้ โดยเฉพาะคำว่าเข้าใจซึ่งผมมองว่าไม่ค่อยมีประโยชน์และพูดตรง ๆ ว่าเป็นโทษด้วยซ้ำ
เหตุผลที่ใช้คณิตศาสตร์ในฟิสิกส์คือความเป็นรูปธรรม และเหตุผลที่การเขียนโค้ดยากก็เหมือนกัน ดูเหมือนผู้คนจะประเมินต่ำไปว่าตัวเองเข้าใจโลกมากเพียงใด สิ่งสำคัญคือความแตกต่างเล็ก ๆ น้อย ๆ ที่ละเอียดอ่อน แต่เพราะมันธรรมดามาก เราเลยมักลืมความสำคัญของมัน ลองอ่าน “Relativity of Wrong” ของ Asimov ได้ ถ้าจะบอกว่าระบบแบบนี้เข้าใจอะไรบางอย่าง มันต้องสามารถทำ deduction และ abduction กลั่นแนวคิดและไอเดีย และค้นพบสิ่งที่มากกว่าการผสมสิ่งที่มันรับเข้าไป การเทรนด้วยองค์ความรู้ทั้งหมดของมนุษย์แล้วทวนความรู้นั้นกลับออกมาอย่างเดียว ไม่ได้พิสูจน์ว่ามีสติปัญญา มีโอกาสน้อยที่องค์ความรู้จะถูกบีบอัดแบบไม่สูญเสียลงในโมเดลขนาดนี้ แต่ถ้าไม่ขุดลึกลงไปในข้อมูลและความรู้ ก็ยากมากจะรู้ว่ามันรู้อะไรและจำอะไรไว้ การสร้างของที่มีประโยชน์กับการสร้างสติปัญญาเป็นคนละปัญหากัน
ถ้าจะเข้าใจจริง ๆ ต้องสามารถเสนอ การคิดเชิงสวนทางข้อเท็จจริง ได้ ทุกประพจน์ทางฟิสิกส์คือประพจน์เชิงสวนทางข้อเท็จจริง ยกตัวอย่าง F=ma ถ้าเปลี่ยนมวลหรือความเร่งก็ยังคำนวณแรงได้ เห็นมวลหนึ่งเคลื่อนที่ด้วยความเร่งหนึ่งแล้วถามว่า “ถ้ามันหนักเป็นสองเท่าล่ะ?” แล้วตอบได้ แบบจำลองโลกของมนุษย์ก็ทำสิ่งนี้เหมือนกัน เพียงแต่เราไม่ได้อธิบายมันด้วยคณิตศาสตร์ เราตั้งสถานการณ์สวนทางข้อเท็จจริงและจัดการกับมันได้ดีอยู่บ่อยครั้ง ผมไม่คิดว่าระบบ machine learning สมัยใหม่ทำสิ่งนี้ได้จริง
ภาพในบทความต้นฉบับเป็นตัวอย่างที่ดีของการขาดความเข้าใจ ฝั่งขวาไม่ใช่แค่นับนิ้วผิด แต่ปุ่มคีย์บอร์ดก็ยังแปลกด้วย แค่เข้าใจนิดหน่อยก็รู้แล้วว่าปุ่มไม่ควรซ้ำกัน เลย์เอาต์ก็เละเทะเหมือนของในความฝัน มีแนวโน้มสูงว่าจำนวนปุ่มจะไม่ตรงกับจำนวนสัญลักษณ์ และขนาดก็ดูเพี้ยนด้วย ยิ่งมองนานยิ่งแย่ลง ซึ่งเป็นเรื่องปกติของระบบแบบนี้ มองผ่านๆ อาจดูโอเค แต่ยิ่งดูละเอียดก็ยิ่งจมลึกลงไปใน uncanny valley
https://youtube.com/watch?v=cDA3_5982h8
โค้ดคือคณิตศาสตร์ มีความเป็นไอโซมอร์ฟิซึมระหว่างภาษาที่ Turing-complete กับคณิตศาสตร์ที่คำนวณได้ ถ้าอยากดูแบบเข้มงวดกว่านี้ก็ไปหา Church กับ Turing ได้ แน่นอนว่าฟิสิกส์กับคณิตศาสตร์ไม่เหมือนกัน แต่คณิตศาสตร์มีประสิทธิผลอย่างไร้เหตุผล
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
ในฐานะคนที่สร้างอะไรบางอย่าง รู้สึกเหนื่อยใจกับ การโต้แย้งแบบหุ่นฟาง แบบนี้
การใช้คำที่คนทั่วไปเข้าใจกันอย่างกว้างขวางเพื่ออธิบายอินพุตและเอาต์พุตนั้นมีประโยชน์ แถมยังใส่เครื่องหมายอัญประกาศไว้เพื่อส่งสัญญาณด้วยว่าไม่ได้กำลังกล่าวอ้างเกินจริงไปถึงนัยระยะยาวของคำเหล่านั้น คนที่อ่าน release ก็จะเข้าใจประมาณว่า Qwen เดิมเป็น VLM ที่ใช้ดู/รับรู้/เข้าใจ และตอนนี้สามารถสร้าง/พรรณนา/วาดภาพได้แล้ว แค่นั้นก็พอ ไม่จำเป็นต้องสร้างวิกฤตไปมากกว่านั้น
สงสัยว่ามี รายงานทางเทคนิค ของโมเดลนี้ หรือของโมเดลอื่นที่สร้างภาพด้วยวิธีแบบ 4o ไหม อยากเข้าใจสถาปัตยกรรมของการสร้างภาพสาย 4o ให้จริงๆ
มองว่าการทำแมชชีนเลิร์นนิงก้าวหน้าไปมากกว่ามากในด้าน การพรรณนา มากกว่าด้านการ “เข้าใจ” โลก
คำว่า “เข้าใจแล้ว” ที่จริงก็เป็นแค่มาตรฐานส่วนบุคคลแบบตามอำเภอใจเท่านั้น
รูปภาพถูกบีบอัดเป็น 256 โทเค็น ก่อนที่ language model จะได้เห็น นั่นจึงเป็นเหตุผลว่าทำไมพอสั่งให้เพิ่มหมวก มันถึงวาดทั้งใบหน้าใหม่ เพราะวัตถุไม่ได้ถูกเก็บแยกกัน
ไม่ได้มีหมีที่คงอยู่ต่อเนื่องอยู่ในหน่วยความจำ แต่ทุกอย่างอยู่รวมกันในซุปของ latent space ที่หลอมรวมเป็นหนึ่งเดียว แล้วระบบก็สุ่มตัวอย่างใหม่ภายใต้ข้อจำกัดใหม่ และถ้าเปลี่ยนพรอมป์ต์เพียงเล็กน้อย สมดุลของ embedding ทั้งหมดก็จะถูกปรับใหม่ด้วย นี่จึงทำให้การแก้ไขเล็กน้อยลามไปทั่วทั้งภาพ มันดูคล้ายการประกอบฉากแบบ single-shot และมีประโยชน์กับงานคนละประเภท
การแก้ไขของ gpt-image-1 เหมาะกับการเปลี่ยนสไตล์ทั้งภาพอย่าง “ทำให้เป็นสไตล์ Ghibli” มากกว่า แต่ไม่ค่อยเหมาะกับการเพิ่มแว่นให้ภาพสมจริงพร้อมคงรายละเอียดทุกอย่างเอาไว้