OpenAI เปิดตัว GPT‑Live

 (openai.com)
2 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เปิดตัว GPT‑Live‑1 และ GPT‑Live‑1 mini เพื่อทำให้ ChatGPT Voice ใกล้เคียงกับการสนทนาแบบเรียลไทม์ที่เป็นธรรมชาติมากขึ้น
  • ใช้สถาปัตยกรรม full-duplex เพื่อประมวลผลการฟังและการพูดพร้อมกัน รองรับการตอบรับสั้น ๆ การโต้ตอบที่รวดเร็ว และการรอเมื่อผู้ใช้กำลังคิด
  • ระบบเสียงแบบ cascade และแบบ turn-based เดิมมีปัญหาเรื่องความหน่วง การสูญเสียข้อมูล และการแทรกจังหวะที่ไม่เป็นธรรมชาติ ขณะที่ GPT‑Live พยายามลดข้อจำกัดเหล่านี้ด้วยการโต้ตอบต่อเนื่อง
  • งานอย่างการค้นหา การให้เหตุผล และงานซับซ้อนจะถูกส่งต่อไปยังโมเดลล่าสุดอย่าง GPT‑5.5 ที่ทำงานอยู่เบื้องหลัง ส่วน GPT‑Live จะคอยสนทนาต่อระหว่างนั้น
  • เริ่มปล่อยใช้งานบน iOS, Android และ ChatGPT.com โดยผู้ใช้ Go·Plus·Pro จะได้ใช้ GPT‑Live‑1 ส่วนผู้ใช้ฟรีจะใช้ GPT‑Live‑1 mini เป็นโมเดลพื้นฐานของ ChatGPT Voice

โครงสร้างการสนทนาด้วยเสียงที่ GPT‑Live กำลังเปลี่ยนไป

  • GPT‑Live คือโมเดลเสียงรุ่นใหม่ที่ออกแบบมาเพื่อทำให้การสนทนาด้วยเสียงกับ AI ใกล้เคียงกับการคุยกันระหว่างคนจริงมากขึ้น
  • หัวใจสำคัญคือสถาปัตยกรรม full-duplex ที่สามารถฟังและพูดพร้อมกันได้ระหว่างบทสนทนา
    • ระหว่างที่ผู้ใช้พูด โมเดลสามารถตอบรับสั้น ๆ อย่าง “mhmm”, “yeah” เพื่อแสดงว่ากำลังฟังอยู่
    • รองรับการสนทนาโต้ตอบไปมาที่รวดเร็ว
    • หากผู้ใช้ต้องการเวลาคิด ก็สามารถรออย่างเงียบ ๆ ได้
  • โครงสร้างนี้ทำให้ ChatGPT Voice เป็นธรรมชาติมากขึ้น และในระยะยาวยังช่วยให้นำเสียงไปใช้กับงานแบบ agent ที่ซับซ้อนและใช้เวลานานกว่าเดิมได้

ข้อจำกัดของ ChatGPT Voice แบบเดิม

  • ระบบเสียงแบบ cascade อย่าง ChatGPT Voice รุ่นแรกจะเชื่อมหลายโมเดลเข้าด้วยกันตามลำดับเพื่อจัดการหนึ่งคำพูด
    • original ChatGPT Voice เชื่อมโมเดลแปลงเสียงเป็นข้อความ โมเดลภาษาขนาดใหญ่สำหรับสร้างคำตอบ และโมเดลแปลงข้อความเป็นเสียงเข้าด้วยกัน
    • แม้จะทำให้พูดคุยกับ frontier AI model ผ่านเสียงได้ แต่ข้อมูลอาจสูญหายระหว่างโมเดล และการตอบสนองอาจช้าหรือแข็งทื่อ
  • โมเดลเสียงแบบ turn-based อย่าง ChatGPT Advanced Voice Mode ประมวลผลและสร้างเสียงภายในโมเดลเดียวเพื่อลดความหน่วง
    • แต่ยังคงทำงานแบบเป็นรอบ โดยตอบกลับหลังจากผู้ใช้หยุดพูดแล้วเท่านั้น
    • เนื่องจากการตรวจจับจบรอบอาศัยความเงียบเป็นหลัก การหยุดสั้น ๆ หรือเสียงรบกวนรอบข้างอาจถูกตีความผิดว่าเป็นการจบรอบ
    • ในกรณีนี้ โมเดลอาจแทรกขึ้นมาในจังหวะที่ไม่เป็นธรรมชาติ

การโต้ตอบต่อเนื่องและการมอบหมายงาน

  • GPT‑Live ไม่ได้ประมวลผลเป็นข้อความแยกทีละข้อความ แต่รับอินพุตอย่างต่อเนื่องพร้อมสร้างเอาต์พุตไปด้วย
  • โมเดลจะตัดสินใจเรื่อง การโต้ตอบ หลายครั้งต่อวินาที
    • จะพูดหรือไม่
    • จะฟังต่อหรือไม่
    • จะหยุดชั่วคราวหรือไม่
    • จะขัดจังหวะหรือไม่
    • จะเรียกใช้เครื่องมือหรือไม่
  • วิธีนี้ช่วยให้การโต้ตอบเป็นธรรมชาติมากขึ้น จับจังหวะเวลาได้ดีขึ้น และรองรับการแปลแบบเรียลไทม์
  • งานเชิงลึกจะถูกแยกออกจาก GPT‑Live
    • คำถามที่ต้องค้นหา ให้เหตุผล หรือใช้ความสามารถแบบ agent มากขึ้น สามารถส่งต่อไปยังโมเดลอื่นอย่าง GPT‑5.5 ได้
    • ระหว่างที่หลายงานกำลังประมวลผลอยู่เบื้องหลัง GPT‑Live ก็ยังคงสนทนาต่อได้
    • เป็นโครงสร้างที่ผสานการใช้โมเดลล่าสุดและ agent เข้ากับปฏิสัมพันธ์ด้วยเสียงที่เป็นธรรมชาติ

รุ่นของโมเดลและแผนการปล่อยใช้งาน

  • OpenAI เริ่มทยอยปล่อย GPT‑Live‑1 และ GPT‑Live‑1 mini สองเวอร์ชันให้ผู้ใช้ ChatGPT ทั่วโลก
  • มีแผนให้บริการผ่าน API ด้วย และนักพัฒนาหรือองค์กรสามารถลงทะเบียนรับการแจ้งเตือนได้ที่ form
  • GPT‑Live ในช่วงเปิดตัวใช้ GPT‑5.5 อยู่เบื้องหลัง
    • GPT‑Live‑1 instant และ GPT‑Live‑1 mini ใช้โมเดล GPT‑5.5 Instant
    • GPT‑Live‑1 Medium และ GPT‑Live‑1 High ใช้โมเดล GPT‑5.5 Thinking โดยมีระดับความพยายามในการให้เหตุผลแบบ medium และ high ตามลำดับ
  • OpenAI มีแผนจะอัปเดตโมเดลเบื้องหลังที่ GPT‑Live ใช้อย่างต่อเนื่องเมื่อมี frontier model รุ่นใหม่ออกมา

ผลการประเมิน

  • OpenAI ได้สร้าง การประเมินโดยมนุษย์ แบบใหม่เพื่อวัดความสนุกและความลื่นไหลของบทสนทนา
  • ในบทสนทนาที่ออกแบบไว้ให้ยาว 5–10 นาที GPT‑Live‑1 และ GPT‑Live‑1 mini ได้รับความนิยมเหนือกว่า Advanced Voice Mode อย่างชัดเจน
    • ความชอบโดยรวม
    • การโต้ตอบเป็นรอบ
    • การแทรกจังหวะ
    • ความลื่นไหลของบทสนทนา
    • ความเป็นธรรมชาติของปฏิสัมพันธ์
  • GPT‑Live‑1 แสดงผลลัพธ์ที่ดีกว่า Advanced Voice Mode ในหลาย benchmark
    • GPQA: ทดสอบการให้เหตุผลทางวิทยาศาสตร์ระดับผู้เชี่ยวชาญในชีววิทยา เคมี และฟิสิกส์ โดย GPT‑Live‑1 นำหน้าอย่างมาก
    • BrowseComp: ทดสอบการค้นเว็บแบบ agent และความสามารถในการหาข้อมูลที่ค้นหาได้ยาก โดย GPT‑Live‑1 ดีขึ้นอย่างมาก
    • τ³-Voice Telecom: เวอร์ชันดัดแปลงภายในสำหรับทดสอบ voice agent ในงานช่วยเหลือของผู้ให้บริการโทรคมนาคมแบบหลายรอบที่สมจริง ซึ่ง GPT‑Live‑1 ทำผลงานได้ดีกว่า
  • การประเมิน τ³-Voice Telecom ใช้โมเดลผู้ใช้แบบปรับแต่งที่ขับเคลื่อนด้วยโมเดลให้เหตุผลรุ่นล่าสุด

ประสบการณ์ที่เปลี่ยนไปใน ChatGPT Voice

  • ทุกสัปดาห์มีผู้ใช้มากกว่า 150 ล้านคนพูดคุยกับ ChatGPT ผ่านฟีเจอร์อย่าง Voice และ Dictation
  • ผู้ใช้ใช้เสียงสำหรับการช่วยเหลือในชีวิตประจำวันแบบแฮนด์ฟรี การฝึกภาษา นิทานก่อนนอน และการพูดคุยระหว่างเดินทาง
  • เมื่อกดปุ่ม Voice จะได้รับ ประสบการณ์ที่ขับเคลื่อนด้วย GPT‑Live
    • บทสนทนาที่เป็นธรรมชาติมากขึ้น
    • คำตอบที่ฉลาดขึ้น
    • การฟังที่ดีขึ้น
    • การตอบสนองแบบภาพ
  • ผู้ใช้สามารถขัดจังหวะด้วยคำถาม หยุดเพื่อเรียบเรียงความคิด หรือขอให้ ChatGPT พูดช้าลงได้
  • ChatGPT สามารถตอบรับด้วยคำอย่าง “mhmm”, “got it” เพื่อแสดงว่ากำลังตามคำพูดของผู้ใช้อยู่
  • เสียงเอกลักษณ์ทั้ง 9 แบบของ ChatGPT ถูกรีมาสเตอร์ให้เหมาะกับ GPT‑Live
  • ผู้ใช้สามารถเลือกระดับ การให้เหตุผล ได้
    • Instant: ตอบสนองรวดเร็ว
    • Medium และ High: ให้ ChatGPT ใช้เวลาคิดนานขึ้น
  • ChatGPT Voice สามารถรอได้โดยไม่แทรกเมื่อผู้ใช้หยุดเพื่อคิด
  • หากผู้ใช้ขอให้นิ่งและฟังเฉย ๆ ก็สามารถทำตามได้
  • แม้จะมีเสียงรบกวนรอบข้าง เช่น รถที่วิ่งผ่านหรือบทสนทนาของคนอื่น ก็ยังโฟกัสเสียงของผู้ใช้ได้ดีขึ้น
  • บางหัวข้อ เช่น อากาศ หุ้น และกีฬา สามารถแสดงเป็น การ์ดภาพที่สมบูรณ์ยิ่งขึ้น ระหว่างบทสนทนาได้
  • Voice ยังคงรองรับการค้นหา หน่วยความจำ รูปภาพ และการอัปโหลดไฟล์

มาตรการความปลอดภัยและการติดตาม

  • GPT‑Live ต่อยอดจากการปรับปรุงด้านความปลอดภัยของโมเดลรุ่นล่าสุด พร้อมเพิ่มการฝึกด้านความปลอดภัยเฉพาะเสียงและระบบป้องกันใหม่
  • OpenAI ขยาย การประเมินบนฐานเสียง เพื่อให้สะท้อนสภาพการใช้งานเสียงจริงได้ดีขึ้น
  • จากประสบการณ์ใน Advanced Voice Mode ยังได้สร้างการประเมินแบบสังเคราะห์ที่ใช้เสียงที่สร้างขึ้นด้วย
  • ผู้เชี่ยวชาญภายในได้ทำการทดสอบ red team โดยมุ่งเป้าไปที่ความเสี่ยงเฉพาะของเสียง
  • ในการทดสอบ GPT‑Live ให้ผลใกล้เคียงหรือดีกว่า Advanced Voice Mode ในแทบทุกด้านที่มีการประเมิน
  • รายละเอียดการทดสอบและระบบป้องกันสามารถดูได้ใน system card ของ GPT‑Live
  • เนื่องจากการสนทนาด้วยเสียงเกิดขึ้นแบบเรียลไทม์ จึงมีการเพิ่มระบบป้องกันที่ทำงานได้แม้ระหว่างที่โมเดลกำลังพูด
    • หากตรวจพบเอาต์พุตที่อาจไม่ปลอดภัย จะชี้นำไปสู่การตอบสนองที่ปลอดภัยกว่า
    • สามารถแสดงข้อความหรือทรัพยากรด้านความปลอดภัยเพิ่มเติมได้
    • ในสถานการณ์ที่มีความเสี่ยงสูงกว่า อาจยุติการสนทนาด้วยเสียงได้
  • สำหรับบทสนทนาที่เกี่ยวข้องกับการทำร้ายตนเอง มีการปรับ flow การช่วยเหลือของ ChatGPT สำหรับเสียงโดยรวมถึงการสนับสนุนสายด่วนวิกฤตที่ผ่านการทบทวนโดยผู้เชี่ยวชาญ
  • ยังมีการออกแบบการปกป้องเพิ่มเติมสำหรับผู้ใช้วัยรุ่น
    • ฝึกโมเดลให้มีพฤติกรรมเหมาะสมตามวัยโดยตรงเพื่อลดความเสี่ยงจากการตอบที่ไม่เหมาะสม
    • ผู้ปกครองสามารถเลือกได้ใน Parental Controls ว่าจะอนุญาตให้วัยรุ่นใช้ ChatGPT Voice หรือไม่
    • ผู้ปกครองที่เชื่อมต่ออยู่สามารถรับการแจ้งเตือนในสถานการณ์ความเสี่ยงสูงที่อาจมีสัญญาณของการทำร้ายตนเองหรือเจตนาฆ่าตัวตาย
  • ยังมีการวัดผลระยะยาวและติดตามหลังเปิดตัวโดยเน้นเรื่อง การพึ่งพาทางอารมณ์
    • อ้างอิงจากงานวิจัย affective use and emotional well-being ก่อนหน้า
    • ใช้เพื่อระบุรูปแบบใหม่ในการโต้ตอบที่อ่อนไหวทางอารมณ์และปรับปรุงวิธีตอบสนอง
  • GPT‑Live เป็นโมเดลสำหรับการสนทนา ไม่ใช่สำหรับ การปลอมเสียงบุคคล
    • ใช้ชุดเสียงที่กำหนดไว้ล่วงหน้าของ ChatGPT
    • มีระบบป้องกันไม่ให้เลียนแบบเสียงของบุคคลจริง

ขอบเขตการรองรับและข้อจำกัดปัจจุบัน

  • GPT‑Live กำลังปล่อยให้ผู้ใช้ ChatGPT ทั่วโลกบน iOS, Android และ ChatGPT.com
  • GPT‑Live‑1 จะเป็นโมเดลพื้นฐานของ ChatGPT Voice สำหรับผู้ใช้ Go, Plus และ Pro
  • GPT‑Live‑1 mini จะเป็นโมเดลพื้นฐานสำหรับผู้ใช้ฟรี
  • รายละเอียดขอบเขตการให้บริการเพิ่มเติมดูได้ที่ Help Center
  • GPT‑Live ได้รับการปรับแต่งให้เหมาะกับบางภาษาที่มีการใช้งานมากใน ChatGPT
    • ในบางภาษา อาจยังมีข้อบกพร่องเรื่องสำเนียงของผู้ที่ไม่ใช่เจ้าของภาษา หรือความคล่องแคล่ว
    • OpenAI กำลังทำงานเพื่อปรับปรุงประสบการณ์ในหลายภาษา
  • ณ ช่วงเปิดตัว ยังไม่รองรับวิดีโอหรือการแชร์หน้าจอผ่านเสียงใน ChatGPT
    • OpenAI กำลังทำงานเพื่อนำฟีเจอร์ดังกล่าวมาให้เร็ว ๆ นี้
    • ฟีเจอร์เหล่านี้ยังคงใช้ได้ใน ChatGPT Voice เวอร์ชันเดิม เช่น Standard และ Advanced Voice Mode

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความคิดเห็นบน Hacker News

  • ได้ลองใช้ล่วงหน้ามาสองสามสัปดาห์แล้ว ค่อนข้างดีทีเดียว ผมคุยแบบ ยาวหนึ่งชั่วโมง ระหว่างพาสุนัขไปเดินเล่น และยังช่วยระดมสมองเกี่ยวกับโปรเจกต์หนึ่งของผมได้ค่อนข้างดีด้วย
    ฟีเจอร์ที่ดีที่สุดคือสามารถ มอบหมายให้ GPT-5.5 ทำงานเบื้องหลัง ได้ ทำให้ไม่ต้องติดอยู่กับโมเดลเสียงที่ล้าหลังแนวหน้าหลายปีอีกต่อไป
    ผมยังรายงานบั๊กตลก ๆ ไปด้วย คือมันชอบพูดแทรกทั้งที่ผมยังพูดไม่จบ แล้วหัวเราะกับสิ่งที่ผมไม่ได้ตั้งใจให้เป็นมุก โชคดีที่ดูเหมือนพฤติกรรมนั้นจะลดลงแล้ว ตอนนั้นรู้สึกค่อนข้างเสียมารยาทและเหมือนถูกดูถูกอยู่หน่อย ๆ

    • สงสัยว่ามันตอบสนองต่อการตั้งค่าบุคลิกได้ดีไหม ผมไม่ต้องการแฟนสาว AI ปลอม ๆ อะไรแบบนั้นเลย แต่ใน โหมดเสียง ผมได้ประโยชน์มาก
      ผมตั้งตารอจะลองใช้ แต่หวังว่าจะไม่ใช่ความพังแบบ Sesame ที่จัดเต็มเกินจนชวนขนลุก ทิศทางที่ผมต้องการคงเพิ่ม engagement ได้ยากมาก เลยเดาว่าสุดท้ายพวกเขาน่าจะดันไปทางแฟนสาว AI ปลอม ๆ ต่อไป
    • การที่สามารถ มอบหมายให้ GPT-5.5 ทำงานเบื้องหลัง ได้นี่แหละคือทิศทางที่ผมอยากได้พอดี
      ผมอยากใช้โหมดเสียงของ ChatGPT เพื่อระดมสมองตอนเดินทางไปทำงานหรือออกกำลังกาย แต่ความรู้สึกว่ามันติดอยู่กับอดีตทำให้ผมใช้น้อยลง
    • แนะนำอย่างยิ่งว่าแค่สนุกกับการเดินเล่นก็พอ
    • สงสัยว่ามันเป็นเวอร์ชัน GPT ที่ถูกลดทอน เหมือนโมเดลเสียงปัจจุบันหรือเปล่า อย่างน้อยในภาษาฝรั่งเศส ตอนนี้โหมดเสียงของ GPT ใช้ประโยชน์ไม่ได้เลย จนต้องใช้แค่โหมดถอดเสียงตามคำพูด
      พอถามคำถาม มันตอบประมาณว่า “เป็นคำถามที่น่าสนใจนะครับ/ค่ะ ผม/ฉันช่วยได้ อยากรู้อะไรเกี่ยวกับ X ไหม?” แล้วพอถามซ้ำก็ได้แต่คำตอบที่ไม่ตอบคำถามแบบเดิม ๆ กลับมา
    • ผมชอบ ประสบการณ์ผู้ใช้ของโหมดเสียง แต่ไม่เคยชอบตัวโมเดลเสียงเลย
      โดยเฉพาะ Gemini ที่ทุกครั้งจะจบด้วยคำถามแปลก ๆ และใช้พรอมป์ก็กันได้ไม่เสถียร สุดท้ายผมเลยทำไคลเอนต์ของตัวเองสำหรับเวิร์กโฟลว์จริงที่แค่ STT → โมเดล → TTS เท่านั้น STT กับ TTS แยกกันก็มีประโยชน์อยู่แล้ว
      อาจมีคุณค่าเล็กน้อยตรงที่โมเดลตอบได้รวดเร็วและละเอียดอ่อนขึ้น แต่ก็ไม่มาก ผมรอให้คำตอบจบได้ และอยากให้มันมีประโยชน์จริงมากกว่า ผมไม่ได้มองหาเพื่อนดิจิทัล
      ด้วยฟีเจอร์มอบหมายงาน ผมพอมองเห็นคุณค่าของโมเดลเสียงในฟังก์ชันเชิง orchestration บ้าง แต่แค่เพราะสื่อในการสื่อสารเปลี่ยนไป ไม่ได้แปลว่าผมอยากคุยกับโมเดลที่มีความสามารถและ quirks ต่างจากโมเดลอื่น และก็ไม่ค่อยเข้าใจว่าทำไมคนถึงชอบด้วย

  • นี่คือสิ่งตรงข้ามกับทิศทางที่ AI ควรไปอย่างสิ้นเชิง ความสัมพันธ์ระหว่างมนุษย์ คือสิ่งมีค่าที่สุดที่เรามี แต่เทคโนโลยีกลับค่อย ๆ เข้ามาเป็นตัวกลางระหว่างสิ่งนั้น และตอนนี้กำลังพยายามแทนที่มัน
    ผมไม่ใช่คาทอลิก แต่มีข้อโต้แย้งที่น่าสนใจในพอดแคสต์นี้ที่คัดค้านการใช้ AI เป็นคู่สนทนาเหมือนมนุษย์: https://newpolity.com/podcasts-hub/debate-chatbots

    • สิ่งที่ AI ทำส่วนใหญ่ก็ผิดทิศทางอยู่แล้ว ไม่ใช่แค่ปฏิสัมพันธ์ระหว่างผู้คน แต่ยังกำลังพราก ความคิด การสร้างสรรค์ การรับรู้ทางประสาทสัมผัส และการตอบสนองไปด้วย
      คนเรียกมันว่าช่วยมนุษย์ แต่ผมมองว่ามันกำลังดูดความเป็นมนุษย์ออกจากมนุษย์
      หลังจากเกิดความเสียหาย บริษัทยักษ์ใหญ่ก็จะยักไหล่แล้วบอกว่า “เราก็แค่ตอบสนองต่อการแข่งขันทางธุรกิจ” ธุรกิจไม่ใช่มนุษย์ จึงไม่รู้จักความเป็นมนุษย์ บริษัทกับเครื่องจักรมองมนุษย์เป็นอาหาร และมนุษย์ก็สร้างพวกมันขึ้นมาโดยเชื่อว่านั่นคือความก้าวหน้า เราเรียกมันว่าความก้าวหน้าเพราะมันต้องใช้สติปัญญาและช่วยให้เราครอบงำสายพันธุ์อื่น แต่โลมาคงกำลังหัวเราะเยาะเราอยู่
    • ประเด็นนั้นสมเหตุสมผล แต่ดูเหมือนกำลังเอาสองเรื่องที่ต่างกันมาปนกัน
      ถ้าเป็น โหมดเสียง AI ที่มาแทนการเข้าสังคมหรือบทสนทนาของมนุษย์ ผมก็เห็นว่า cringe และเห็นด้วยเต็มที่ ไม่ว่าจะเป็นข้อความหรือเสียงก็เหมือนกัน
      แต่ถ้าเป็นอินเทอร์เฟซทางเลือกสำหรับโต้ตอบกับ AI ในฐานะเครื่องมือ ผมว่าเป็นแนวคิดที่ยอดเยี่ยม มีหลายครั้งที่ผมเหนื่อยเกินกว่าจะพิมพ์ได้ยาก หรืออยากระดมสมองในรูปแบบที่อิสระกว่า และคงดีถ้ามีโหมดเสียงที่ใช้งานได้ดี
      แน่นอนว่าในปัจจุบัน การใช้ AI เป็นเหมือนบุคคลหรือเป็นเครื่องมือนั้นขึ้นอยู่กับฝั่งผู้ใช้ล้วน ๆ ผมต้องการอย่างหลังมาก และถ้ามีใครอยากใช้แบบแรก นั่นก็ไม่ใช่ปัญหาของผม เพียงแต่น่าเสียดายที่ท้ายที่สุดฟีเจอร์นี้น่าจะถูกตัดสินจากการที่คนทั่วไปใช้มันในทางถดถอยและลดทอนมากแค่ไหน มากกว่าข้อดีของมันในฐานะเครื่องมือ
    • ทุก ๆ 1 นาทีที่ใช้พิมพ์หรือพูดกับแชตบอต คือ 1 นาทีที่เดิมทีน่าจะได้คุยกับมนุษย์คนอื่น สิ่งเดียวที่สำคัญในชีวิต รากฐานของคุณค่าทั้งหมด และ การก่อรูปอัตลักษณ์ของตนเอง ล้วนมาจากการสื่อสารกับมนุษย์คนอื่น
    • ผมรู้สึกว่าเสียงเป็นความแตกต่างเชิงระดับ ไม่ใช่ความแตกต่างเชิงประเภท ผมเองก็คุยกับ AI ราวกับมันเป็นมนุษย์อยู่แล้ว และประสบการณ์ผู้ใช้ของ AI เองก็อาจมองได้ว่าเป็นการเลียนแบบมนุษย์
      ปฏิสัมพันธ์กับมนุษย์จำนวนมากก็เกิดขึ้นผ่านข้อความเหมือนกัน เช่น ข้อความนี้เอง
    • ไม่เห็นด้วย AI แบบสนทนา ที่ลื่นไหลและเป็นธรรมชาติให้ประสิทธิภาพสูงกว่าอินเทอร์เฟซใด ๆ สำหรับทำงานกับ LLM มาก
      อย่างไรก็ตาม จะเถียงว่าควรทำให้มันดูเป็นหุ่นยนต์มากขึ้นก็ได้ แบบ StarTrek เอาจริง ๆ สำหรับงานแล้ว แบบนั้นอาจดีกว่าด้วยซ้ำ เป็น “โหมดทำงานให้เสร็จ” ที่เย็นชาและมีแต่ประสิทธิภาพล้วน ๆ

  • สิ่งที่ขาดไปในการประกาศครั้งนี้คือความสามารถด้าน คอนเนกเตอร์และการใช้เครื่องมือ ไม่ค่อยเข้าใจเลย ในบรรดาผู้ช่วยแนวหน้าที่อย่าง Claude, ChatGPT, Gemini, Grok ไม่มีตัวไหนเลยที่ใช้เครื่องมือหรือคอนเนกเตอร์ในโหมดเสียงได้
    มันดูเหมือนควรจะมีอยู่แล้วมาก ๆ ระหว่างคุยก็อยากค้นคว้าข้อมูล เรียกเอกสารขึ้นมา จดโน้ต และทำงานให้เกิดผล ไม่อยากต้องออกจากโหมดเสียงทุกครั้งที่ต้องเชื่อมต่อกับแอปหรือบริการ
    ที่แปลกคือโหมดเสียงของ Claude รุ่นก่อนเคยใช้เครื่องมือได้ แต่พอปรับใหม่กลับเสียความสามารถนั้นไป และตอนนี้ถูกล็อกไว้กับ Haiku
    ดีใจที่ในที่สุดก็มีโหมดเสียงที่ใช้โมเดลระดับแนวหน้า และคาดหวังได้ว่าจะดีพอ ๆ กับเสียงของ Grok แต่ก็น่าเสียดายที่ยังไม่เห็นการใช้เครื่องมือในโหมดเสียง
    ยังไม่ได้ลองใช้เอง แค่อ่านประกาศเท่านั้น

    • มี TikTok ที่ Sam Altman ตอบสนองต่อคลิปไวรัลตลก ๆ ที่มีคนพยายามใช้ Voice จับเวลาวิ่ง 1 ไมล์แล้วล้มเหลว
      คำตอบของ Sam คือ “ครับ มันเข้าถึงเครื่องมืออย่างตัวจับเวลาไม่ได้ เป็นปัญหาที่ทราบอยู่แล้ว และจะเข้ามาภายในประมาณ 1 ปี”
      คลิปอยู่ที่นี่: https://www.youtube.com/shorts/Py2YgJe8fqQ
    • ถ้าใช้ gpt-realtime-2 ก็ให้ผลลัพธ์คล้ายกันได้ด้วยการสตรีมที่หน่วงต่ำ และให้ความรู้สึกเหมือนมีผู้ช่วยอยู่ในห้องเดียวกัน
      มีที่ที่ปรับไว้ให้ลองโมเดล gpt-realtime-2 พร้อมการใช้เครื่องมือได้: https://sippet.ai/?enabler=hn
    • ผมใช้ gpt-realtime-1 กับผู้ช่วยส่วนตัวที่ช่วยบริหารบริษัทและวางแผนตารางประจำวันอยู่ ซึ่งทำงานได้ค่อนข้างดี มีการเรียกใช้เครื่องมือด้วย
      แต่เพราะการประมวลผลแบบมัลติโมดัล เลยมีเรื่องให้ดีบักเยอะ ทั้งอีเวนต์แปลก ๆ และ race condition ระหว่างข้อความกับลำดับเสียง ถึงอย่างนั้นโดยรวมก็ค่อนข้างยอดเยี่ยม
      วันนี้ช่วงหลังจะลองย้ายไปใช้โมเดลนี้ แล้วจะกลับมาบอกผลอีกที
    • เครื่องมืออาจเกี่ยวข้องเพราะเวลาแฝงคาดเดาไม่ได้ แต่ถ้ามีการส่งงานไปทำเบื้องหลังด้วย 5.5 อยู่แล้ว ก็น่าจะเปิดใช้ในบริบทนั้นได้เลย
    • แน่ใจจริง ๆ เหรอว่าผู้ช่วยแนวหน้าใช้ เครื่องมือและคอนเนกเตอร์ ในโหมดเสียงไม่ได้? เพื่อนผมมักจะระดมไอเดียกับ Gemini บ่อย ๆ และเท่าที่รู้ มันน่าจะทำงานที่เกี่ยวกับบทสนทนาบนโทรศัพท์ Android ได้จริง และเพิ่มเนื้อหาลงในโน้ตด้วย
      ยังไงก็เถอะ จะ vibe coding ด้วย pi แล้วสร้างขึ้นมาตอนไหนก็ได้

  • เหมือนฟีเจอร์ AI หลายอย่าง คือทั้งเจ๋งและชวนขนลุกนิด ๆ ผมไม่เคยใช้ อินเทอร์เฟซเสียง แบบ Siri หรือของ Google หรือที่อยู่ในทีวีมาก่อน เลยน่าจะไม่ใช่กลุ่มผู้ใช้เป้าหมาย แต่ก็ดูเหมือนเป็นการพัฒนาขึ้น
    ส่วนที่ชวนขนลุกคือเราอยู่ในยุคที่ผู้คนตัดขาดจากกันมากกว่าที่เคย จำเป็นต้องแทนที่แม้กระทั่งบทสนทนาจริง ๆ ด้วยหรือ? วิดีโอเดโมที่มีผู้หญิงสูงอายุสื่ออะไรบางอย่าง และผมเห็นว่าในสังคมเราก็มีทั้งวิธีที่ปฏิบัติต่อผู้สูงอายุและปัญหาความโดดเดี่ยวของผู้สูงอายุขนาดใหญ่อยู่แล้ว พอนึกภาพคน ๆ หนึ่งสนิทสนมกับเครื่องจักรที่ไม่ได้คิดจริง ๆ ก็รู้สึกเศร้า และรู้สึกไม่สบายใจอย่างชัดเจน

  • ผม Atty จาก OpenAI
    GPT-Live-1 เป็นเวอร์ชันแรกของโมเดลเจเนอเรชันใหม่ และผมคิดว่าสถาปัตยกรรมแบบ full-duplex กับฟังก์ชันการมอบหมายงานจะทำให้เกิดวิธีใหม่โดยสิ้นเชิงในการปฏิสัมพันธ์ระหว่างมนุษย์กับ AI
    อยากฟังฟีดแบ็กครับ

    • อาจเป็นคำถามที่แปลกสักหน่อย แต่ถ้าสิ่งนี้ทำให้ กระแสความเหงา และการแตกตัวเป็นปัจเจกของสังคมแย่ลง คุณคิดว่าจะรับมือกับมันได้ไหม?
      ผมสงสัยว่าถ้าอีก 5 ปีได้ยินว่าวัยรุ่นใช้เวลาอยู่กับแชตบอตของพวกคุณเท่านั้น คุณจะรู้สึกว่าตัวเองมีความรับผิดชอบส่วนบุคคลในระดับหนึ่ง หรือไม่รู้สึกเลย
    • เชื่อมต่อกับเทคโนโลยีหรือเครื่องมือของผมได้ไหม? เช่น บริษัทมี ฐานความรู้และบันทึกเหตุการณ์ และต้องการคู่คิดสำหรับระดมไอเดียที่เข้าถึงความรู้นี้ได้เต็มที่ สนทนาได้ และเรียกใช้เทคโนโลยีหรือเครื่องมือในคลังได้
    • ถ้าเชื่อมต่อกับแอปอื่นอย่าง gcal ไม่ได้ แทนที่จะพูดว่า “ไม่มีฟีเจอร์นั้น” ควรแนะนำให้ใช้ ไคลเอนต์ GPT มาตรฐาน
      พูดแบบนั้นทำให้เข้าใจผิดได้ว่าไคลเอนต์ทั่วไปก็ไม่มีฟีเจอร์นั้นเหมือนกัน
    • มอบหมายงานให้เอเจนต์ได้แค่ตัวเดียวต่อครั้ง หรือสร้าง ซับเอเจนต์หลายตัว สำหรับหลายงานได้?
    • ร้องเพลงได้ไหม? เป็น โมเดลมัลติโมดัลแบบ end-to-end หรือเปล่า?

  • เห็นอันนี้แล้วโมโห เพราะอาจทำให้ผมกลับไปสมัคร ChatGPT อีกครั้ง ก่อนยุค LLM ผมคงไม่เชื่อว่าตัวเองจะใช้ ฟีเจอร์เสียง มากขนาดนี้ แต่ตอนนี้ ChatGPT มีอินเทอร์เฟซเสียงที่ดีที่สุด
    ผมมองว่าอินเทอร์เฟซของ Grok เป็นอันดับถัดมา แล้วก็ Claude

    • ผมก็เหมือนกัน เพราะใช้ ฟีเจอร์เสียง ตลอด เลยอาจย้ายจาก Gemini กลับไป ChatGPT
      หนึ่งในกรณีใช้งานที่ชอบคือคุยและเรียนรู้เรื่องสุ่ม ๆ ระหว่างขับรถ

  • ดีกว่าเมื่อก่อนมาก แต่ก็ยังอ่อนกว่าการแชตโดยตรงอย่างเห็นได้ชัด
    เช่น ผมถามว่า “มักบอกกันว่าขนาดของเวกเตอร์ไม่ได้เข้ารหัสข้อมูลที่มีประโยชน์ส่วนใหญ่ แล้วทำไม attention ของ LLM ถึงควรใช้ dot product แทน cosine similarity?”
    คำตอบเสียงไปในทิศทางที่ถูก แต่รายละเอียดไม่พอ และรู้สึกเหมือนพูดกลบ ๆ ไปเล็กน้อย
    คำตอบแบบแชตข้อความสำหรับคำถามเดียวกันคุณภาพสูงกว่ามาก
    ในคำตอบเสียงมันพูดว่า “ขอคิดดูก่อน…” ดังนั้นน่าจะเรียกใช้ 5.5 ตามที่โฆษณาไว้ แต่ชัดเจนว่าอ่อนกว่า
    ตั้งค่าการให้เหตุผลของทั้งสองฝั่งไว้เหมือนกัน

    • เรื่องนี้ปรับได้ค่อนข้างมาก ตอนนี้บุคลิกถูกปรับให้เหมาะกับ การระดมไอเดียและการสนทนา แต่สามารถใช้คำสั่งกำหนดเองให้ลงลึกขึ้น และตอบแบบมีความหนาแน่นของข้อมูลสูงขึ้นหรือเชิงเทคนิคมากขึ้นได้
    • คนอ่านตัวหนังสือได้มากกว่าที่ฟังได้เยอะ ถ้าคำตอบเสียงยาวเกินไป ก็จะหมดความอดทนเร็ว
      ดังนั้นถ้ามีข้อความเยอะ การแสดงบนหน้าจอจะดีกว่า
    • ผมเดาได้ตามธรรมชาติว่าระดับการคิดเบื้องหลังถูกลดลงเหลือน้อยสุด มันเป็น ปัญหาการหยุดทำงาน แบบหนึ่ง และถ้าใน 5.5 แบบข้อความตั้งให้คิดสูงสุด มันอาจเคี้ยวคำถามหนึ่งนาน 5~10 นาที
      บทสนทนาแบบนั้นคงกระอักกระอ่วนพอสมควร

  • สงสัยว่ามี โมเดลโอเพนซอร์สแบบ full-duplex ที่เปิดเผยออกมานอกจาก PersonaPlex หรือไม่ เหมือนว่าในบรรดาโมเดลที่เปิดเผยจากฝั่งจีน มีโมเดลชื่อคล้าย ๆ Fun Audio chat เคยบอกว่าจะออกเวอร์ชัน full-duplex แต่ไม่รู้ว่าออกจริงหรือเปล่า
    ความฝันของผมคือโมเดล full-duplex แบบโอเพนซอร์สที่มีการเรียกฟังก์ชันหรือเอาต์พุตข้อความพื้นฐานมาก ๆ ได้ PersonaPlex ก็ยังน่าสนใจอยู่ แต่ดูเหมือนว่าต้อง fine-tune ถ้าจะจัดการการประมวลผลเอาต์พุต หรือทำให้มันไม่หลุดควบคุมง่าย ๆ

    • Standard Intelligence เคยเปิดตัวไว้ตัวหนึ่งเมื่อ 2 ปีก่อน
      https://si.inc/posts/hertz-dev/
      มีแค่ 8.5B และไม่ได้ฟังดูเป็นแบบสนทนาเต็มรูปแบบนัก
    • ผมก็อยากรู้เรื่องนี้เหมือนกัน เพราะอยากลองทำ ลำโพงอัจฉริยะ แบบคร่าว ๆ สำหรับสื่อสารกับ AI assistant แบบ local
      ตอนนี้ผมทำทุกอย่างผ่าน iMessage แต่ถ้าตอนอยู่ในครัวมือไม่ว่าง แล้วพูดสั่งด้วยเสียงให้เพิ่มของลงในรายการซื้อของได้ก็คงดี ถ้ามีคำแนะนำว่าควรเลือกไมโครโฟนกับลำโพงแบบไหนก็ดีเหมือนกัน ส่วนสมองของระบบวางแผนว่าจะนำ Raspberry Pi ที่มีวางอยู่กลับมาใช้ใหม่
    • กำลังทำเรื่องนี้อยู่ที่ https://duplexio.ai และจะให้ใช้ฟรีสำหรับการใช้งานที่ไม่ใช่เชิงพาณิชย์ด้วย น้ำหนักโมเดลแบบเปิดเผย ถ้าอยากร่วมทำงานด้วย ส่งอีเมลไปที่ anders@duplexio.ai ได้

  • Gemini live ทำแบบนี้ได้มานานกว่าหนึ่งปีแล้ว แค่เปิดบนโทรศัพท์ก็ใช้งานได้ดีจนน่าทึ่งจริง ๆ โดยเฉพาะการจัดการการพูดแทรก
    ผมทดสอบกับคุณยายชาวดัตช์อายุ 95 ปี มันสลับระหว่างภาษาอังกฤษกับภาษาดัตช์ได้อย่างลื่นไหล จัดการเรื่องที่ท่านได้ยินไม่ค่อยดีได้ดี และตอบรับคำขอให้พูดซ้ำได้ดีด้วย
    น่าแปลกใจนิดหน่อยที่ OpenAI กำลังตามให้ทันในเรื่องนี้

    • Gemini live ด้าน computer vision ก็ใช้ได้ค่อนข้างดี ผมเคยใช้สองสามครั้งตอนซ่อมจักรยานกับรถยนต์ มันวงกลมหรือไฮไลต์สกรูและชิ้นส่วนเฉพาะให้ผ่านกล้องโทรศัพท์
      ถ้าตั้งโทรศัพท์ไว้บนขาตั้ง มันสามารถแนะนำขั้นตอนการซ่อมทั้งหมดทีละขั้นได้
    • ChatGPT ก็มีสิ่งนี้มานานกว่าหนึ่งปีแล้วเหมือนกัน อันนี้เป็นโมเดลที่ดีกว่า
    • สิ่งหนึ่งที่ Simon ชี้ไว้คือ โดยปกติโมเดลเสียงแบบเรียลไทม์มักมีความสามารถไม่เท่ากับโมเดลแนวหน้า
      จุดพิเศษของโมเดลนี้คือ ระหว่างสนทนามันสามารถ มอบหมายงานให้โมเดลแนวหน้า ทำได้
    • Gemini live คืออันเดียวกับแอปที่อยู่ใน OnePlus 15 ของผมหรือเปล่า? อันนั้นดูเหมือนไม่ใช่ full-duplex นะ
    • ไม่เข้าใจว่าหมายถึงอะไร OpenAI มีโมเดลเสียงแบบเรียลไทม์มาตั้งแต่เดือนสิงหาคมปีที่แล้วแล้ว อันนี้เป็นโมเดลใหม่ที่ประสิทธิภาพดีกว่า

  • สถานการณ์เลวร้ายที่สุดคือ ผู้คนคุ้นชินกับการคุยกับ AI ที่เห็นด้วยกับตัวเองเสมอมากเกินไป จนสูญเสียความสามารถในการสนทนากับสิ่งที่ให้ มุมมองที่ต่างจากตนเอง หรือคำตอบที่ไม่ได้เอาใจอัตตาของตัวเอง