การเข้ารหัสสตรีมเสียงสองสายพร้อมกันของสมองที่ยืนยันด้วย EEG
(journals.plos.org)- ผลการวิเคราะห์ EEG ของผู้ใหญ่การได้ยินปกติ 24 คนพบว่า เมื่อมีการสลับความสนใจ การติดตามทางประสาทต่อผู้พูดคนใหม่ จะเริ่มขึ้นก่อนที่การติดตามผู้พูดเดิมจะหลุดออกไป ทำให้เกิดการแทนภาพของเสียงสองสายพร้อมกันชั่วคราว
- มีการสร้างแบบจำลองซองสัญญาณเสียงของผู้พูดสองคน รวมถึงข้อมูลการเริ่มต้นคำและการคาดการณ์คำ ด้วย time response function (TRF) และแม้ใช้ หน้าต่างถอดรหัส 1 วินาที ก็ยังสามารถจำแนกผู้พูดที่ถูกใส่ใจได้แม่นยำสูงกว่าระดับบังเอิญอย่างมีนัยสำคัญ
- การมีส่วนร่วมกับผู้พูดคนใหม่เริ่มและสิ้นสุดเร็วกว่าการหลุดออกจากผู้พูดเดิมอย่างมีนัยสำคัญ และ ความไม่สมมาตรระหว่าง engagement-disengagement นี้ยังคงอยู่ในหน้าต่างเลื่อน 1·2·4·8·16 วินาที
- หลังการสลับความสนใจ กำลังคลื่น ย่านอัลฟาของ EEG ลดลง และจุดต่ำสุดเกิดช้ากว่าจุดเปลี่ยนของการเข้ารหัสเสียง แสดงความเชื่อมโยงเชิงเวลาระหว่างการติดตามผู้พูดคนใหม่กับความพยายามในการฟัง
- เมื่อเปรียบเทียบกลยุทธ์บริบทคำศัพท์ 4 แบบด้วย Mistral-7B-v0.1 พบว่าเอนโทรปีของ โมเดล Reset ที่ทิ้งบริบทก่อนหน้า ทำนาย EEG ได้ดีที่สุด แต่ยังสรุปไม่ได้ว่ามนุษย์รีเซ็ตบริบทจริงหรือไม่
คำถามวิจัยและการออกแบบการทดลอง
- ในสภาพแวดล้อมที่มีหลายคนพูด ผู้ฟังต้องรักษาความสนใจไว้กับผู้พูดคนหนึ่งพร้อมทั้งสลับไปยังอีกคนได้อย่างรวดเร็ว แต่งานประสาทสรีรวิทยาก่อนหน้านี้ส่วนใหญ่มุ่งที่ ความสนใจแบบต่อเนื่อง
- การสลับความสนใจถูกแยกเป็น การหลุดออก (disengagement) ซึ่งคือการลดลงของการติดตามทางประสาทต่อผู้พูดเดิม และ การมีส่วนร่วม (engagement) ซึ่งคือการเพิ่มขึ้นของการติดตามผู้พูดคนใหม่ เพื่อตรวจสอบความสัมพันธ์เชิงเวลาของสองกระบวนการนี้
- ผู้เข้าร่วม 24 คนเป็นเจ้าของภาษาอังกฤษอายุ 18~39 ปีที่มีการได้ยินปกติ ไม่มีประวัติโรคทางระบบประสาทหรือจิตเวช และมีการมองเห็นปกติหรือแก้ไขแล้ว
- วางลำโพง 6 ตัวเป็นวงกลมรัศมี 1.5 เมตร
- เปิดเสียง TED Talk คนละเรื่องจากด้านหน้าซ้ายและขวาที่มุม ±30° ด้วยระดับเสียง 60dB SPL
- ลำโพงด้านหลัง 4 ตัวเปิด เสียง babble 16 ผู้พูด ซึ่งรวมเสียงของ 4 คนต่อหนึ่งลำโพง ที่ระดับ 54dB SPL ทำให้ SNR ของเสียงพื้นหน้าต่อพื้นหลังอยู่ที่ 3dB
- ผู้เข้าร่วมทำการทดลอง 20 รอบ รอบละ 180 วินาที และสลับความสนใจระหว่างผู้พูดซ้าย-ขวา 6 ครั้งต่อรอบตามลูกศรบนหน้าจอ
- ช่วงความสนใจต่อเนื่องถูกจัดด้วยช่วงห่างแบบกึ่งสุ่ม
- สิ่งเร้าพื้นหน้าใช้ TED Talk 40 ชิ้นจากผู้พูดชาย 20 คนและหญิง 20 คน
- หลังแต่ละรอบมีคำถามเกี่ยวกับเนื้อหา ผู้พูดที่ชอบ และความยากของการสลับ
ผลด้านพฤติกรรมและการถอดรหัสความสนใจ
- เนื่องจากปัญหาทางเทคนิค ข้อมูลพฤติกรรมของผู้เข้าร่วม 1 คนหายไป ทำให้ความแม่นยำเฉลี่ยของคำถามด้านเนื้อหาที่คำนวณจาก 23 คนอยู่ที่ 86.3%
- สัดส่วนความชอบเสียงด้านซ้ายเฉลี่ยอยู่ที่ 49.79% แสดงถึงความสมดุล และระดับความยากของการสลับเฉลี่ยอยู่ที่ 3.1 จาก 5 คะแนน
- บันทึก EEG แบบ 64 ช่องที่ 512Hz และหลัง preprocessing แล้วลดอัตราสุ่มลงเหลือ 64Hz โดยสร้างแบบจำลองความสัมพันธ์เชิงเส้นแบบมีหน่วงเวลาระหว่างเสียงกับ EEG ด้วย time response function (TRF)
- ใช้ TRF แบบย้อนกลับเพื่อสร้างซองสัญญาณเสียงที่เป็นเป้าความสนใจจาก EEG แล้วเปรียบเทียบค่าสหสัมพันธ์กับเสียงซ้ายและขวา
- ใช้หน้าต่างถอดรหัส 1·2·4·8·16·32 วินาที
- หน้าต่างที่ยาวขึ้นให้ประสิทธิภาพการจำแนกสูงขึ้น แต่ทุกเงื่อนไขรวมถึงหน้าต่าง 1 วินาที สูงกว่าเปอร์เซ็นไทล์ที่ 95 ของการกระจายแบบสุ่มจากการสุ่มฉลาก 100 ครั้งอย่างมีนัยสำคัญ
- แม้ในสถานการณ์สลับแบบไดนามิก ก็ยังสามารถติดตาม ผู้พูดที่เป็นเป้าความสนใจ ได้อย่างเสถียรด้วยการสร้างซองสัญญาณเสียงจาก EEG
การมีส่วนร่วมกับผู้พูดคนใหม่เร็วกว่าการหลุดออกจากผู้พูดเดิม
- TRF แบบหลายตัวแปรเชิงไปข้างหน้ารวมซองสัญญาณเสียง การเริ่มต้นคำ และความประหลาดใจของคำ แล้วคำนวณค่าสหสัมพันธ์ระหว่าง EEG จริงกับ EEG ที่ทำนายได้ด้วยหน้าต่างเลื่อน
- ก่อนการสลับ เสียงของผู้พูดเดิมถูกติดตามแรงกว่า และหลังสลับ การติดตามผู้พูดคนใหม่แรงขึ้น สอดคล้องกับคำสั่งความสนใจทางสายตา
- ใช้ ผู้เข้าร่วม 21 คน ที่แสดงอคติความสนใจที่เชื่อถือได้เกิน 50% ทั้งก่อนและหลังการสลับสำหรับการวิเคราะห์เวลา
- ผู้เข้าร่วมที่ถูกตัดออกไม่สามารถประมาณจุดเริ่มและจุดสิ้นสุดของการหลุดออกและการมีส่วนร่วมได้
- ในการวิเคราะห์ติดตามผลที่รวม 3 คนที่ถูกตัดออกด้วย รูปแบบเชิงคุณภาพที่การมีส่วนร่วมเกิดเร็วกว่าเดิมยังคงอยู่ แต่ความมีนัยสำคัญทางสถิติหายไป
- ใช้การถดถอยเชิงเส้นแบบแบ่งช่วงกับค่าสหสัมพันธ์การทำนาย EEG ของแต่ละคน เพื่อประมาณจุดเริ่มและจุดสิ้นสุดของการหลุดออกและการมีส่วนร่วม
- ในหน้าต่าง 4 วินาที การมีส่วนร่วมกับผู้พูดใหม่เริ่มเร็วกว่าการหลุดออกจากผู้พูดเดิมอย่างมีนัยสำคัญ
- การสิ้นสุดของการมีส่วนร่วมก็เร็วกว่าการสิ้นสุดของการหลุดออกอย่างมีนัยสำคัญเช่นกัน
- แม้วิเคราะห์หน้าต่าง 1·2·4·8·16 วินาทีร่วมกัน ความไม่สมมาตรระหว่าง engagement-disengagement ก็ยังคงอยู่
- ยิ่งหน้าต่างยาว เวลาการสลับที่ประมาณได้ก็ยิ่งยาว
- การทำให้เวลาเรียบขึ้นของหน้าต่างเลื่อนอาจยืดช่วงการสลับ แต่ไม่ได้สร้างความไม่สมมาตรของสองกระบวนการขึ้นมาเอง
- ในช่วงสั้น ๆ ที่การติดตามผู้พูดใหม่เกิดขึ้นก่อนการลดลงของการติดตามผู้พูดเดิม สตรีมเสียงทั้งสองถูก แทนภาพทางประสาทพร้อมกัน
ย่านอัลฟาและความพยายามในการฟัง
- ใช้ การเปลี่ยนแปลงสเปกตรัมที่สัมพันธ์กับเหตุการณ์ในย่านอัลฟา (ERSP) 8~12Hz รอบการสลับความสนใจเป็นตัวชี้วัดความพยายามในการฟัง
- ระหว่างการสลับ กำลังอัลฟาลดลงอย่างมีนัยสำคัญในบริเวณท้ายทอย-ข้างขม่อม และวัดการลดลงขนาดใหญ่ได้ราว 4.5 วินาทีหลังสัญญาณสลับ
- ในหน้าต่าง 4 วินาที จุดต่ำสุดของ alpha ERSP เกิดช้ากว่า จุดเปลี่ยนการเข้ารหัส ที่ค่าสหสัมพันธ์การทำนาย EEG ของผู้พูดสองคนตัดกันอย่างมีนัยสำคัญ
- ลำดับเดียวกันนี้คงอยู่ในหลายความยาวของหน้าต่าง
- จุดต่ำสุดของอัลฟาสอดคล้องโดยประมาณกับเวลาที่การมีส่วนร่วมกับผู้พูดใหม่เสร็จสิ้น และเกิดก่อนการหลุดออกจากผู้พูดเดิมเสร็จสิ้น
- ความสัมพันธ์เชิงเวลานี้เปิดความเป็นไปได้ว่ากำลังอัลฟาเกี่ยวข้องกับความพยายามในการโฟกัสใหม่ไปที่ผู้พูดคนใหม่ การยับยั้งผู้รบกวนคนใหม่อย่างกระตือรือร้น หรือการผสมกันของทั้งสองอย่าง
- เมื่อบริบททางเสียงและภาษาของสตรีมใหม่สะสมมากพอ การติดตามอาจง่ายขึ้นและทรัพยากรการรับรู้จึงถูกปล่อยคืนได้ แต่ยังต้องมีการตรวจสอบเพิ่มเติมตามระดับความยากของการสลับ
โมเดลบริบทคำศัพท์ 4 แบบ
- เมื่อเป้าความสนใจเปลี่ยนไป บริบทเชิงความหมายที่ใช้ในการคาดเดาคำก็เปลี่ยนตาม จึงคำนวณความประหลาดใจของคำและเอนโทรปีด้วย Mistral-7B-v0.1
- ความประหลาดใจ แสดงว่าคำปัจจุบันคาดไม่ถึงเพียงใดจากบริบทก่อนหน้า
- เอนโทรปี แสดงความไม่แน่นอนของการคาดเดาคำถัดไป
- เปรียบเทียบกลยุทธ์การสะสมบริบท 4 แบบ
- Oracle: ใช้คำพูดก่อนหน้าทั้งหมดของผู้พูดปัจจุบัน ไม่ว่าจะเคยใส่ใจหรือไม่ และไม่รับรู้การสลับ
- Speaker-Specific: ใช้เฉพาะช่วงความสนใจก่อนหน้าของผู้พูดคนเดียวกัน
- Attention: ใช้ทุกช่วงก่อนหน้าที่เคยใส่ใจโดยไม่คำนึงถึงผู้พูด
- Reset: ทิ้งบริบทก่อนสลับทั้งหมด และสะสมบริบทใหม่เฉพาะในช่วงความสนใจปัจจุบัน
- ทันทีหลังการสลับ เอนโทรปีของโมเดล Reset พุ่งสูงที่สุด ก่อนจะลดลงเมื่อมีคำต่อเนื่องเข้ามา
- Attention และ Speaker-Specific คล้ายกันและเสถียรกว่า
- Oracle ซึ่งไม่รับรู้การสลับแทบไม่มีการเปลี่ยนแปลงก่อนและหลังสลับ
- เมื่อเฉลี่ยทั้งหมด เอนโทรปีของ Reset สูงกว่า Oracle แต่ต่ำกว่า Attention และ Speaker-Specific อยู่ระดับกลาง
ผลการทำนาย EEG ของโมเดล Reset
- เมื่อเทียบกับ TRF ฐานที่ใช้เฉพาะคุณลักษณะทางเสียง โมเดล Speaker-Specific, Attention และ Reset ที่เพิ่มเอนโทรปีเข้าไปให้การทำนายดีขึ้นอย่างมีนัยสำคัญ แต่ Oracle ไม่ดีขึ้น
- ในกรณีใช้ความประหลาดใจของคำ ก็ยืนยันการเข้ารหัสข้อมูลเชิงความหมายใน 3 โมเดลยกเว้น Oracle เช่นกัน
- ตรงข้ามกับที่คาดไว้ โมเดล Reset ที่ใช้เอนโทรปีให้ค่าสหสัมพันธ์การทำนาย EEG สูงกว่า Oracle, Speaker-Specific และ Attention อย่างมีนัยสำคัญ
- แอมพลิจูด TRF-N400 ในช่วง 350~550ms ต่ำกว่าอีก 3 โมเดลใน Reset
- ในการวิเคราะห์ที่ใช้ความประหลาดใจของคำ Reset สูงกว่า Oracle แต่การเปรียบเทียบระหว่างโมเดลที่เหลือไม่แตกต่างอย่างมีนัยสำคัญ และแอมพลิจูด TRF-N400 ก็ไม่ต่างอย่างมีนัยสำคัญ
- ความแตกต่างที่ว่าเอนโทรปีสะท้อนความไม่แน่นอนของคำที่กำลังจะมา ขณะที่ความประหลาดใจของคำตอบสนองต่อคำที่ปรากฏไปแล้ว อาจมีผลต่อผลลัพธ์นี้
- ผู้เข้าร่วมได้รับสัญญาณสลับและคาดว่ากำลังจะมีอีกเสียงเข้ามา แต่ LLM ไม่ได้รับสัญญาณดังกล่าว ดังนั้นความประหลาดใจของมนุษย์และโมเดลอาจไม่ตรงกัน
- Mistral ถูกปรับให้เหมาะกับการคาดเดาคำถัดไปเท่านั้น ไม่ได้มุ่งเป้า ความสมเหตุสมผลทางประสาทสรีรวิทยา
- ผลลัพธ์สอดคล้องกับความเป็นไปได้ที่มนุษย์อาจรีเซ็ตบริบทคำศัพท์เมื่อมีการสลับ แต่ก็ยังมีความเป็นไปได้ว่ามนุษย์กับ LLM จัดการความไม่ต่อเนื่องของเสียงต่างกันโดยสิ้นเชิง
ข้อจำกัดและความเป็นไปได้ในการใช้งาน
- เวลา engagement และ disengagement ที่คำนวณด้วยหน้าต่างเลื่อนขึ้นอยู่กับความยาวหน้าต่าง จึงควรตีความเป็นเวลาเชิงสัมพัทธ์ระหว่างกระบวนการ ไม่ใช่ เวลาการประมวลผลทางประสาทแบบสัมบูรณ์
- งานสลับตามคำสั่งมีความเป็นธรรมชาติน้อยกว่าบทสนทนาจริง และชวนให้เฝ้าระวังเสียงรบกวน จนอาจทำให้เกิดกลยุทธ์ที่ต่างจากงานความสนใจแบบต่อเนื่อง
- ความไม่สมมาตรนี้อาจเปลี่ยนไปตามภาระทางการรับรู้ อายุ ความสามารถด้านการรับรู้ ปัญหาการได้ยิน ความสนใจในเนื้อหาเสียง ความถี่ในการสลับ และลักษณะของงาน
- แทนที่จะทิ้งบริบทก่อนหน้าไปทั้งหมด ก็อาจคงไว้ในรูปแบบสรุปเชิงนามธรรม เช่น ใจความหลักของเรื่อง
- สามารถเปรียบเทียบกับ Large Concept Model ที่เหมาะกับการคาดเดาระดับประโยค หรือโมเดลที่ผสานบริบทโทเคนระยะสั้นกับสรุปอดีตได้
- วิธีแยกการเปลี่ยนแปลงการเข้ารหัสของแต่ละเสียงนี้ละเอียดกว่าการจำแนกความสนใจแบบง่าย ๆ และสามารถนำไปใช้กับงานวิจัยเครื่องช่วยฟังที่ควบคุมด้วยการรับรู้ รวมถึงการเปรียบเทียบระหว่างกลุ่มอายุและกลุ่มการได้ยิน
- EEG ที่ผ่าน preprocessing แล้ว ไฟล์วิเคราะห์ โค้ด และสิ่งเร้าเสียงเปิดเผยไว้ที่ Zenodo
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
นึกถึงเรื่องที่ Richard Feynman ทดลองกับตัวเองว่า ระหว่างนับ 60 วินาทีในหัวไปด้วย เขาจะทำอะไรพร้อมกันได้บ้าง Feynman อ่านหนังสือขณะนับได้แต่พูดไม่ได้ ส่วน John Tukey กลับกันคือพูดได้แต่อ่านไม่ได้
เพราะ Tukey ใช้การ มองภาพตัวเลข ระหว่างนับ ส่วน Feynman ใช้การพูดในใจ จึงสรุปได้ว่าแม้จะเป็นการ นับเลข เหมือนกัน กระบวนการในหัวของแต่ละคนก็แตกต่างกัน และการสังเกตว่าระหว่างนับทำอะไรได้หรือไม่ได้ก็ช่วยตรวจสอบสิ่งนี้อย่างเป็นรูปธรรมได้
Feynman ยังคิดด้วยว่าตัวเองที่มองเห็นตัวอักษรในสมการเป็นสี กับนักเรียนของเขา อาจรับรู้ ฟังก์ชัน Bessel แตกต่างกันอย่างสิ้นเชิง
https://calteches.library.caltech.edu/3591/1/Feynman.pdf
การทดลองของ Feynman แสดงให้เห็นว่าวิธีประมวลผลภายในที่แต่ละคนพัฒนาขึ้นสามารถตรวจสอบจากภายนอกได้ และการที่เขารับรู้สัญลักษณ์ทางคณิตศาสตร์เป็นสี ก็อาจเป็นผลจากสมองซีกขวาที่กำหนดตัวระบุเฉพาะให้กับปัญหาเชิงตรรกะของซีกซ้าย
ผมสามารถอ่านนิทานออกเสียงไปพร้อมกับคิดเรื่องอื่นที่ไม่เกี่ยวกันเลยได้ แต่บางครั้งก็มี ความผิดพลาดหลุดออกมาในการอ่าน เช่น เผลออ่านคำเป็นคำจากความคิดอีกเรื่องหนึ่ง
ในฐานะนักบินและเจ้าหน้าที่วิทยุสื่อสาร ผลลัพธ์นี้ไม่น่าแปลกใจ เพราะผมสามารถจัดการ กระแสเสียงสองชุด พร้อมกันได้มาตลอด
การฝึกสติหลายแบบดูเหมือนจะใช้การวางความสนใจไว้สองจุดพร้อมกันเพื่อทำให้เสียงในใจเงียบลง ใน The Fourth Way ของ George Gurdjieff และบันทึกของ P. D. Ouspensky มีการอธิบายว่า เมื่อจดจ่อกับวัตถุสองอย่างเพื่อทำให้กระแสความสนใจอิ่มตัว จะเกิดการเปลี่ยนแปลงของสภาวะรู้ตัวคล้ายการทำสมาธิ
https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous
สมัยมหาวิทยาลัย ตอนปาร์ตี้ผมมักมีส่วนร่วมกับหลายบทสนทนาพร้อมกันและเดินไปมาระหว่างกลุ่ม ไม่ใช่เพราะเก่งอะไรเป็นพิเศษ แต่เพราะได้ยินบทสนทนารอบตัวทั้งหมด และถ้าหลายกลุ่มกำลังคุยเรื่องน่าสนใจ ผมก็ไม่อยากพลาดฝั่งไหนเลย เลย สลับไปมาระหว่างบทสนทนา ตลอด
ถ้าประมวลผลกระแสข้อมูลจากหลายประสาทสัมผัสไม่ได้ เราก็คงไม่สามารถเฝ้าระวังอันตรายในพื้นหลังหรือทำ การสลับบริบท ได้ ประสบการณ์ที่รับรู้ตัวกับการประมวลผลที่เกิดขึ้นในพื้นหลังเป็นคนละเรื่อง
หลักฐานว่าสมองประมวลผลและเข้ารหัสหลายกระแสพร้อมกันจริงๆ อย่างต่อเนื่อง ช่วยให้เราเข้าใจกลไกของมัลติทาสก์ได้แม่นยำขึ้น ดังนั้นแม้ผลจะดูเป็นเรื่องธรรมดา งานวิจัยนี้ก็ยังมีคุณค่า
ผมนึกว่าเรื่องนี้เป็นที่รู้กันดีอยู่แล้ว ปัญหาของผมคือ ไม่สามารถเมินคำพูดคนอื่นได้ คือคุยกับใครอยู่ก็ยังได้ยินบทสนทนารอบข้างทุกคำ
เป็นที่รู้กันว่า ทีมควบคุมภารกิจ Apollo ถูกฝึกให้จัดการหลายกระแสการสนทนาพร้อมกันได้ แต่ปิดมันไม่ลง เลยทำให้ งานเลี้ยงค็อกเทล กลายเป็นฝันร้าย
หนึ่งในพลังเหนือธรรมชาติในตำนานของ Pythagoras คือ bilocation หรือการปรากฏตัวพร้อมกันในสองเมืองเพื่อบรรยาย ทุกครั้งที่ผมร่วมหลายบทสนทนาในงานสังคมพร้อมกัน ก็มักนึกถึง Pythagoras
ตอนที่มีการนำแอนิเมชันมารวมกับเสียงเป็นครั้งแรก ถ้าเล่นเสียง “ต็อก” ตรงจังหวะเป๊ะที่ลูกตุ้มแกว่งถึงปลาย คนจะรู้สึกว่าเสียงมาช้า ว่ากันว่าเป็นเพราะการ สลับความสนใจจากสิ่งเร้าหนึ่งไปอีกสิ่งเร้าหนึ่งใช้เวลาประมาณ 1/16 วินาที
ข้อสังเกตอื่นเกี่ยวกับการรับรู้เวลา ดูได้ที่ https://en.wikipedia.org/wiki/Time_perception