Tensor G3 ของ Pixel 8 Pro โยนงาน Generative AI ไปประมวลผลบนคลาวด์
(notebookcheck.net)- ฟีเจอร์ Generative AI ใหม่ของ Pixel 8 Pro ไม่ได้ประมวลผลโดยตรงบน Tensor G3 แต่ใช้วิธีส่งผ่านเซิร์ฟเวอร์ของ Google แทน ซึ่งสะท้อนให้เห็นช่องว่างระหว่างการตลาดชิปที่เน้น AI ของ Google กับประสบการณ์ใช้งานจริง
- AI Wallpaper และ Magic Editor ต้องการ การเชื่อมต่ออินเทอร์เน็ตตลอดเวลา โดยประเด็นสำคัญคือ งานที่ผู้ใช้ร้องขอไม่ได้ถูกประมวลผลภายในอุปกรณ์ แต่ทำบนคลาวด์
- Google โปรโมต Tensor G3 ว่าเป็นชิปแบบ “AI-first” พร้อมเน้น on-device machine learning และการเป็นรากฐานของ generative AI แต่ฟีเจอร์เด่นบางส่วนกลับยังห่างไกลจากการทำงานแบบโลคัล
- Notebookcheck เพิ่มวิดีโอยืนยันสั้น ๆ ว่า Magic Editor และ AI Wallpaper ต้องใช้ การประมวลผลบนคลาวด์ จึงต้องพึ่งการเชื่อมต่ออินเทอร์เน็ตอย่างต่อเนื่อง
- ตามเกณฑ์ของ Geekbench 6 แม้ Tensor G3 จะใช้สถาปัตยกรรม CPU รุ่นใหม่ แต่กลับมีระดับใกล้กับ Snapdragon 7+ Gen 2 มากกว่า Snapdragon 8 Gen 2 ทำให้ทั้งการโฆษณาฟีเจอร์ AI และข้อถกเถียงเรื่องประสิทธิภาพชิปถูกพูดถึงพร้อมกัน
การเปิดตัว Pixel 8 Pro และเสียงวิจารณ์ต่อ Tensor G3
- Pixel 8 Pro ถูกมองว่าเป็นหนึ่งในกรณีที่เปิดตัวได้ ขรุขระกว่าปกติ สำหรับซีรีส์เรือธงของ Google
- Arun Maini หรือที่รู้จักในชื่อ @Mrwhosetheboss เคยมอบรางวัล “Best Smartphone of 2022” ให้กับ Pixel 7 Pro ในปีก่อนหน้า แต่ไม่ได้ยกย่อง Pixel 8 Pro ในระดับเดียวกัน
- Pixel 8 ซีรีส์ก็ยังมีองค์ประกอบที่ถูกมองในแง่บวก
- ดีไซน์
- งานตกแต่ง frosted glass ด้านหลังของ Pixel 8 Pro
- ซอฟต์แวร์ระดับพรีเมียม
- ประสิทธิภาพการถ่ายภาพนิ่ง
- ฟีเจอร์ที่ขับเคลื่อนด้วย AI อย่าง Best Photo, Magic Editor และ Audio Magic Eraser
- จุดที่น่าเสียดาย ได้แก่ ความไม่ลื่นไหลของการซูมระหว่างสลับเลนส์ และ ระบบกันสั่นวิดีโอที่ดูไม่เป็นธรรมชาติ
- คำวิจารณ์ที่หนักที่สุดพุ่งไปที่โปรเซสเซอร์ Tensor G3 ของ Pixel 8 ซีรีส์
การพึ่งพาเซิร์ฟเวอร์ของฟีเจอร์ Generative AI
- Maini มองว่าฟีเจอร์ Generative AI ใหม่อย่าง AI Wallpaper และ Magic Editor ต้องใช้การประมวลผลมากเกินกว่าที่ Tensor G3 SoC จะรองรับได้โดยตรง
- ฟีเจอร์เหล่านี้ต้องอาศัยการเชื่อมต่ออินเทอร์เน็ตตลอดเวลา
- ทุกงานของผู้ใช้ต้องผ่าน เซิร์ฟเวอร์ของ Google
- เขาประเมินว่ามันช้าจนผู้ใช้สัมผัสได้ว่าไม่ได้ทำงานอยู่ในตัวเครื่อง
- ใจความสำคัญจากคำพูดของ Maini มีดังนี้
- ฟีเจอร์ที่สร้างบางสิ่งด้วย generative AI ต้องใช้การเชื่อมต่ออินเทอร์เน็ตแบบถาวร
- งานถูกประมวลผลผ่านเซิร์ฟเวอร์ของ Google
- สิ่งนี้ทำให้เห็นว่า Tensor G3 ไม่ได้อยู่ในระดับเรือธง
ความขัดแย้งกับการตลาด Tensor G3 ของ Google
- Google วางตำแหน่ง Tensor G3 เป็นชิปแบบ “AI-first” และเน้นย้ำ ความสามารถในการประมวลผล AI
- ในบล็อกทางการของ Google, Monika Gupta รองประธานฝ่าย Product Management ของ Google ระบุประเด็นต่อไปนี้
- นวัตกรรม AI จำนวนมากในช่วงหลังถูกสร้างขึ้นบนพลังประมวลผลระดับดาต้าเซ็นเตอร์
- หากต้องการใช้พลังการเปลี่ยนแปลงของ AI ในชีวิตประจำวัน ก็ต้องเข้าถึงได้จากอุปกรณ์ที่ใช้งานทุกวัน
- Tensor G3 คือชิป custom silicon รุ่นล่าสุดของ Google
- Google อธิบายว่า Tensor G3 ช่วย ขยายขอบเขตของ on-device machine learning
- โดยนำผลลัพธ์ล่าสุดจากงานวิจัย Google AI มาสู่ Pixel 8 และ Pixel 8 Pro โดยตรง
- ระบุว่าเป้าหมายของ Tensor ไม่ใช่ความเร็วหรือค่าชี้วัดประสิทธิภาพแบบดั้งเดิม แต่คือการยกระดับประสบการณ์ mobile computing
- อธิบายว่ามีการอัปเกรด subsystem หลัก และวางรากฐานสำหรับ on-device generative AI
- ภายในประกอบด้วย Arm CPU รุ่นใหม่ล่าสุด, GPU ที่อัปเกรดแล้ว, ISP และ Imaging DSP ใหม่ รวมถึง TPU รุ่นถัดไปที่ออกแบบมาเพื่อรันโมเดล AI ของ Google
ประเด็นเรื่อง on-device AI เมื่อมองผ่านคำอธิบายของ Arm
- วิธีประมวลผลงาน Generative AI ของ Pixel 8 Pro ขัดกับข้อความเรื่อง on-device AI ที่ Google พยายามเน้น
- แม้ Google จะลดความสำคัญของตัวเลขประสิทธิภาพ แต่ Arm กลับเน้นบทบาทของ CPU และ GPU ในงาน AI
- Arm อธิบายว่าเมื่อการประมวลผล AI ย้ายจากคลาวด์ไปยังจุดที่มีการเก็บข้อมูล เทคโนโลยี Arm CPU และ MCU ก็กำลังจัดการเวิร์กโหลด AI และ ML ส่วนใหญ่ที่ edge และ endpoint
- ตามคำอธิบายของ Arm ไม่ว่า CPU จะประมวลผล AI ด้วยตัวเอง หรือทำงานร่วมกับโปรเซสเซอร์เสริมอย่าง GPU หรือ NPU เพื่อจัดการงานเฉพาะทาง CPU ก็ยังเป็น ศูนย์กลางของทุกระบบ AI
- ในบริบทนี้ จึงเห็นความแตกต่างระหว่างคำอธิบายของ Google ที่ทำให้ดูเหมือนว่างาน AI ถูกจัดการด้วย TPU เป็นหลัก กับคำอธิบายของ Arm
การบล็อกเบนช์มาร์กและผล Geekbench 6
- ในช่วง embargo ของรีวิว การติดตั้งแอปเบนช์มาร์กยอดนิยมผ่าน Play Store ทำได้ไม่ง่ายนัก
- ข้อจำกัดนี้ยังคงต่อเนื่องหลังวางจำหน่าย แต่ภายหลังบทความของ Notebookcheck ทาง Google ได้ ยกเลิกการบล็อก
- ในการทดสอบข้ามแพลตฟอร์ม Geekbench 6 ของ Primate Labs นั้น Tensor G3 แม้จะใช้สถาปัตยกรรม CPU รุ่นใหม่ แต่กลับทำคะแนน CPU ได้ต่ำกว่าที่คาด
- ประสิทธิภาพของ Tensor G3 ถูกพบว่าใกล้กับชิประดับกลาง Snapdragon 7+ Gen 2 มากกว่าชิปเรือธงปัจจุบันอย่าง Snapdragon 8 Gen 2
- วิดีโอสั้นที่เพิ่มเข้ามาในการอัปเดตยืนยันว่า ฟีเจอร์ AI ใหม่ของ Pixel 8 Pro รวมถึง Magic Editor และ AI Wallpaper ต้องใช้ การเชื่อมต่ออินเทอร์เน็ตอย่างต่อเนื่อง
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
Google เคยพูดไว้ว่า: “ในชิป Tensor G3 ใหม่ เราได้อัปเกรดระบบย่อยหลักทั้งหมด เพื่อเปิดทางให้กับ AI เชิงสร้างสรรค์แบบ on-device”
นี่เป็นถ้อยคำที่มีช่องให้ตีความได้แน่นอน และในทางปฏิบัติก็ไม่จำเป็นต้องหมายความว่า AI เชิงสร้างสรรค์ทั้งหมดจะรันบน Tensor G3 อาจอ้างได้ว่างานที่ทำกับ G3 เป็นการเตรียมพร้อมสำหรับชิปในอนาคต ถึงอย่างนั้น การรัน AI เชิงสร้างสรรค์บนอุปกรณ์ใน SoC มือถือ โดยเฉพาะให้ได้ประสิทธิภาพและการใช้พลังงานที่พอใช้ได้ ก็ยังดูค่อนข้างฝืนอยู่ดี
https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
ชิป Tensor ก็น่าจะมีประสิทธิภาพพอจะทำแบบเดียวกันได้ แต่ดูเหมือนจะเลี่ยงการรันแบบโลคัลเพราะประสิทธิภาพต่อพลังงานต่ำ
ถ้าดูคำพูดของ Google เขาบอกว่า “Tensor ไม่ได้มีเป้าหมายที่ความเร็วหรือดัชนีชี้วัดประสิทธิภาพแบบดั้งเดิม แต่มีไว้เพื่อผลักดันประสบการณ์คอมพิวติ้งบนมือถือไปข้างหน้า… เปิดทางให้ AI เชิงสร้างสรรค์แบบ on-device… มี TPU รุ่นใหม่ที่ออกแบบเฉพาะให้รันโมเดล Google AI”
ถ้าอย่างนั้นทำไมถึงต้องต่ออินเทอร์เน็ต? สงสัยว่าเป็นเพราะล้มเหลวตอนโค้งสุดท้ายเลยจำเป็นต้องเปิดตัวแบบนี้ หรือว่าตั้งใจให้เป็นแค่ คำโฆษณา มาตั้งแต่แรก
ฟังดูเหมือนพูดเรื่องประสิทธิภาพค่อนข้างเยอะนะ
[1] https://store.google.com/intl/en/ideas/articles/google-tenso...
ระดับล่าสุดของ AI เชิงสร้างสรรค์สเปกต่ำก็ยังเป็นการรันโมเดลที่ปรับแต่งแล้วบน GPU ระดับเดสก์ท็อปและได้ผลลัพธ์ที่ยังไม่ค่อยดีนัก โทรศัพท์ทำแบบนั้นได้ยาก ตอนนี้ machine learning จำนวนมากรันบนเครื่องและกำลังย้ายมาเพิ่มขึ้น แต่ AI เชิงสร้างสรรค์ดูเหมือนยังไม่ถึงขั้นนั้น
Google อาจใช้ถ้อยคำลื่นไหลไปหน่อย แต่การที่โมเดล machine learning ที่ต้องใช้ GTX 4090 รันบนโทรศัพท์ไม่ได้ ก็ไม่ใช่เรื่องน่าแปลกใจ
มีใครดูทราฟฟิกเครือข่ายตอนใช้ Magic Editor แล้วเห็นว่ามันส่งงานออกไปประมวลผลข้างนอกจริงไหม? หรือเป็นข้อสรุปที่อนุมานจากการที่ต้องต่ออินเทอร์เน็ต?
เป็นไปได้ไหมว่าอินเทอร์เน็ตจำเป็นแค่เพื่อดึงโมเดลใหม่มา และการประมวลผลยังทำบนอุปกรณ์อยู่
ก็พอสมเหตุสมผลอยู่ AI เชิงสร้างสรรค์มี ต้นทุนสูงมาก
แต่เชิงสร้างสรรค์เป็นเพียงงาน AI ประเภทหนึ่งเท่านั้น และการทำนาย/การอนุมานน่าจะเป็นพื้นที่หลักที่ Tensor ถูกใช้ ใน Magic Eraser ขั้น “หาอ็อบเจ็กต์ในภาพ” อาจทำบนเครื่อง ส่วนขั้น “ตัดสินใจว่าจะเติมอะไรหลังลบอ็อบเจ็กต์” อาจทำบนเซิร์ฟเวอร์
ถ้าโยนไปคลาวด์ แล้ว โปรเซสเซอร์ AI ของ Tensor G3 เอาไว้ใช้ทำอะไรกันแน่?
ส่วนเดียวที่ Tensor G3 ดูดีกว่าคืออาจเลี่ยงนิสัยของ Qualcomm ที่เลิกสนับสนุนชิปสมาร์ตโฟนผู้บริโภคเร็วเกินไป
ตามคำตอบ AI ของ Google ระบุว่า Google Pixel 8 Pro สามารถรันโมเดล AI เชิงสร้างสรรค์แบบโลคัลบนอุปกรณ์ได้ แต่ไม่ใช่ทั้งหมด
Google ประกาศในงาน Made by Google เดือนตุลาคม 2023 ว่าชิป Tensor G3 แบบปรับแต่งเฉพาะของ Pixel 8 Pro สามารถรัน เวอร์ชันกลั่น ของโมเดลสร้างข้อความและรูปภาพของ Google ได้ โมเดลเหล่านี้ใช้ขับเคลื่อนฟีเจอร์อย่างการแก้ไขภาพและสมาร์ตรีพลายใน Gboard ได้ อย่างไรก็ตาม งาน AI เชิงสร้างสรรค์บางอย่าง เช่น การรันโมเดลภาษาขนาดใหญ่อย่าง Bard ยังต้องใช้พลังประมวลผลมากเกินกว่าจะรันแบบโลคัลบนสมาร์ตโฟน จึงถูกส่งไปทำบนคลาวด์
ตัวอย่างที่รันโลคัลได้มี Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies และการสรุปด้วย AI ของ Google Recorder และบอกว่าหากชิป Tensor ดีขึ้น Pixel ในอนาคตอาจรันฟีเจอร์ AI เชิงสร้างสรรค์บนอุปกรณ์ได้มากขึ้น ʘ ‿ ʘ
ไม่ใช่ “Tensor” ที่ offload อะไรบางอย่าง แต่เป็น แอป Android ที่ส่งงานนั้นไปยัง Google Cloud ไม่ค่อยเข้าใจว่า SoC เกี่ยวข้องกับเรื่องนี้ตรงไหน
เห็นหัวข้อแล้วนึกถึง Juicero ทันที
โฆษณาว่า on-device แล้วส่งข้อมูลไปที่อื่นทันทีได้อย่างไร?
ไม่ใช่เรื่องแน่นอนอยู่แล้วเหรอ? ถ้าฟีเจอร์เชิงสร้างสรรค์คุณภาพสูงรันแบบ on-device ได้ นั่นต่างหากที่จะเป็นการก้าวกระโดดครั้งใหญ่
ผมคิดว่าประเด็นที่ว่า “ฟีเจอร์ AI เชิงสร้างสรรค์ที่ต้องสร้างอะไรบางอย่างด้วย AI จริง ๆ เช่น การสร้าง AI Wallpaper หรือ Magic Editor จำเป็นต้องมีการเชื่อมต่ออินเทอร์เน็ตถาวร… มันอืดมากจนทำให้รู้สึกอยู่ตลอดว่าไม่ได้รันแบบ on-device” นั้นพอรับได้
เหตุผลที่ AI เชิงสร้างสรรค์ดีขึ้นก็เพราะมันมีขนาดใหญ่ขึ้นมหาศาลและกินทรัพยากรมาก แม้แต่ GPU สำหรับผู้บริโภคราคาเกิน 1,000 ดอลลาร์ก็ไม่ได้เร็วเป็นพิเศษ การย่อกระบวนการสร้างแบบนี้ให้เหมาะกับสภาพแวดล้อม on-device ขนาดเล็ก ทั้งที่รู้ว่าผลลัพธ์จะแย่ลงมาก ดูเหมือนเป็นการเสียเวลาและแรงอย่างมหาศาล อย่างไรก็ตาม ถ้าเป็นอย่างนั้นก็ยังน่าสงสัยอยู่ดีว่า Tensor ทำงานอะไรได้ดีอย่างแน่ชัดที่ edge และนี่เป็นคำถามที่น่ากังวลพอสมควร เพราะผู้ผลิตชิปอย่าง AMD, Qualcomm และ ARM ต่างก็ใส่เครือข่ายประสาทขนาดใหญ่และ Tensor core เข้ามาด้วย
ลองนึกภาพว่าใน Photoshop คุณคลิกวัตถุแล้วให้ AI หาเส้นขอบ แต่ทุกครั้งที่คลิกต้องแพ็กภาพส่งขึ้นคลาวด์ แล้วรอการจัดคิว การประมวลผล และการส่งผลกลับมา 5 วินาทีสำหรับการเลือกแต่ละครั้งก็พอจะเห็นภาพได้ โฟกัสแบบรู้จำวัตถุด้วย machine learning ในแอปกล้องก็ไม่สมเหตุสมผลเช่นกัน ถ้าคลาวด์ติดตามวัตถุในช่องมองภาพด้วยความหน่วง 3 วินาที
โดยเฉพาะการตรวจจับคำปลุกเป็นกระบวนการที่รัน convolutional neural network ขนาดค่อนข้างเล็กบนหน้าต่างคงที่อย่างต่อเนื่อง ดังนั้นประสิทธิภาพด้านพลังงานจึงสำคัญมาก
ก่อน Pixel 8 เปิดตัวไม่นาน ผมอ่านงานวิจัย RealFill[0] และ Break-A-Scene[1] ที่นักวิจัยของ Google เผยแพร่ แล้วลองจะทำโมเดล ensemble แบบเร็ว ๆ จากนั้นก็คาดหวังว่า Tensor core ของ G3 อาจก้าวกระโดดเหมือนคอร์ประมวลผลภาษาธรรมชาติและการรับรู้บริบทของ Moto X ปี 2013[2] หรือมีประสิทธิภาพ inference ที่ดีจนน่าตกใจเหมือน Coral[3] ซึ่งเป็น edge TPU ที่ Google พัฒนา Moto X นำเสนอการใช้งาน Active Display, การรู้จำท่าทาง และการรู้จำเสียงในสภาพแวดล้อมที่มีเสียงดังได้ดีกว่าอุปกรณ์มือถือในปัจจุบัน 95% ส่วน Coral ก็ยอดเยี่ยมเช่นกัน แต่เพราะปัญหาขาดแคลนชิป นิสัยเปลี่ยนใจง่ายของบริษัท และการถอนตัวจาก IoT ทำให้การผลิตฮาร์ดแวร์ถูกโอนไปให้ ASUS ในปี 2022
ประเด็นคือสมมติฐานเกี่ยวกับประสิทธิภาพ inference บนฮาร์ดแวร์ราคาเกิน 1,000 ดอลลาร์นั้นผิดตั้งแต่พื้นฐาน การอาศัยคำฮิตอย่าง “เชิงสร้างสรรค์” ดูเหมือนเรียนรู้มาผิด ๆ จากอินฟลูเอนเซอร์บน Twitter หรือจากความพยายามล่าสุดในการนำโมเดลภาษาขนาดใหญ่ไปใช้งาน แม้บนอุปกรณ์มือถือ ฮาร์ดแวร์เฉพาะทางที่ปรับให้เหมาะกับงานเฉพาะก็เคยเป็นไปได้และถูกพัฒนาขึ้นจริงในอดีต ถ้าทำตามข้อกำหนดด้านประสิทธิภาพ พลังงาน และเวลาในการประมวลผลไม่ได้ ก็ควรปรับข้อความประชาสัมพันธ์ใหม่ แทนที่จะทำให้ตัวเองเสี่ยงต่อการถูกฟ้องแบบกลุ่มในประเด็นฮาร์ดแวร์
[0] https://realfill.github.io/
[1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
[2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
[3] https://coral.ai/