Triforce - บีมฟอร์เมอร์สำหรับโน้ตบุ๊ก Apple Silicon

 (crates.io)
1 คะแนน โดย GN⁺ 2025-03-25 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Triforce เป็นการติดตั้งใช้งาน adaptive beamformer แบบ Minimum Variance Distortionless Response สำหรับชุดไมโครโฟนของโน้ตบุ๊ก Apple Silicon
  • รุ่นที่รองรับ: MacBook Pro/Air รุ่น M1 ขึ้นไป
  • โน้ตบุ๊ก Apple Silicon ข้างต้นมีไมโครโฟนที่จัดเรียงเป็นรูปสามเหลี่ยมหรือเป็นเส้นตรง
  • Apple พยายามแยกสัญญาณที่ต้องการออกจากเสียงรบกวนพื้นหลังด้วยการติดตั้ง adaptive beamformer ใน user space
  • หากไม่มี beamforming ชุดไมโครโฟนจะไวเกินไปและรับเสียงรอบทิศทางมากเกินจนใช้งานได้ไม่ดี
  • หากต้องการใช้งานให้เป็นประโยชน์นอก macOS ก็จำเป็นต้องมี beamformer
  • รายการรุ่นที่รองรับ
    • MacBook Pro 13" (M1/M2)
    • MacBook Air 13" (M1/M2)
    • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
    • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
    • MacBook Air 15" (M2)

การจัดการความคาดหวัง

  • หาวรรณกรรมที่เข้าถึงได้เกี่ยวกับหัวข้อ DSP โดยเฉพาะ adaptive beamforming แบบ broadband ได้ยากมาก
  • โปรเจ็กต์นี้เป็นความพยายามทำ beamformer โดยอิงจากความรู้ระดับคณิตศาสตร์วิศวกรรมปี 1 และหลักการที่ได้จากเว็บเพจและ PDF
  • ไม่ควรคาดหวังว่าในตอนนี้จะเหนือกว่าการติดตั้งใช้งานของ Apple
  • ยินดีรับแพตช์เพื่อการปรับปรุงเสมอ

ข้อจำกัดที่ทราบ

  • nalgebra ไม่ได้ทำ explicit SIMD optimization และพึ่งพา LLVM auto-vectorization
  • ประสิทธิภาพและประสิทธิผลของรูทีนคณิตศาสตร์เมทริกซ์ยังไม่ดี
  • ไม่ได้ทำ broadband decomposition เพราะมีภาระการคำนวณเพิ่มขึ้น
  • หากไม่มีการรองรับ SIMD/NEON จะช้าเกินไปสำหรับการเป็นปลั๊กอินเสียงแบบเรียลไทม์
  • เอาต์พุตรองรับเฉพาะโมโน
  • การประมวลผลเมทริกซ์เพิ่มเติมเพื่อทำ stereo output แบบจำลองมีภาระการคำนวณสูงเกินไป

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-03-25
ความคิดเห็นบน Hacker News

  • เมื่อ 20 ปีก่อน มีไมโครโฟนอาเรย์แบบบีมฟอร์มมิงอยู่ในรุ่นแปลงร่างของ Toshiba Tablet PC สามารถกำหนดทิศทางการบันทึกด้วยซอฟต์แวร์ได้

    • มีประโยชน์ในห้องบรรยาย และสามารถปรับลำบีมให้หันไปทางอาจารย์เพื่อบันทึกเสียงได้
    • หลังจากนั้นก็ไม่เคยเห็นฟีเจอร์แบบนี้อีกเลย

  • วิทยานิพนธ์ปริญญาโทที่ทำไม่เสร็จเคยว่าด้วยการใช้ไมโครโฟนของสมาร์ตโฟนเพื่อระบุตำแหน่งและแยกแหล่งกำเนิดเสียงพูดในพื้นที่ 3D

    • อัตราการสุ่มตัวอย่างของอุปกรณ์แต่ละเครื่องต่างกันเล็กน้อย
    • ลักษณะสเปกตรัมของไมโครโฟนระดับผู้บริโภคมีความหลากหลาย
    • เสียงสะท้อนจากทุกทิศทาง โดยเฉพาะกับผนังคอนกรีต
    • รถยนต์คล้ายกับห้องไร้เสียงสะท้อนที่เข้าถึงได้ง่าย
    • ฟูเรียร์ทรานส์ฟอร์มของ Gaussian ก็ยังเป็น Gaussian ซึ่งมีประโยชน์ต่อการประมาณความถี่

  • ทำให้ตระหนักว่าการรัน Linux บน Apple Silicon Mac ต้องใช้ความพยายามอย่างมาก

    • ไมโครโฟนในตัวแทบไม่ได้ถูกใช้งาน
    • ไม่ใช่ทุกอย่างของ Apple จะเรียบง่าย

  • แม้แต่ฮาร์ดแวร์โน้ตบุ๊กราคาถูกก็ให้ผลลัพธ์ที่น่าทึ่งได้ด้วยเทคนิค DSP ทางซอฟต์แวร์

    • งานด้านเสียงของ Asahi น่าจะนำไปใช้กับโน้ตบุ๊กทั่วไปได้เช่นกัน
    • ใช้ปลั๊กอินสังเคราะห์เบสฮาร์มอนิก Bankstown และ convolution EQ แล้วได้ผลลัพธ์ที่น่าประทับใจ

  • สำหรับการเพิ่มประสิทธิภาพ SIMD อาจพิจารณา faer

    • ประสบการณ์กับไลบรารี pulp ไม่ค่อยดีนัก แต่ถ้าเป้าหมายหลักคือเร่งการคำนวณพีชคณิตเชิงเส้นก็น่าจะเหมาะ
    • มีบล็อกโพสต์และพอดแคสต์เกี่ยวกับ Rust SIMD กำลังจะมา

  • มีคำถามเกี่ยวกับไมโครโฟนอาเรย์ในโน้ตบุ๊ก Apple Silicon

    • สงสัยว่ารุ่น M2/M3 มีไมโครโฟนอาเรย์คล้ายกันหรือไม่ หรือแค่ยังไม่ได้ทดสอบ
    • สงสัยว่ารองรับทั้งบน Linux และ MacOS หรือไม่

  • ดูเหมือนว่า Apple จะทำเรื่องไมโครโฟนซับซ้อนเกินไปพอ ๆ กับลำโพง

    • ในฐานะผู้ใช้ MBP รู้สึกประทับใจกับการทำงานของลำโพง
    • แม้จะไม่รู้อะไรมากไปกว่าการจัดเรียงไดรเวอร์ แต่ก็ดูเหมือนว่า Apple ใช้เทคนิคต่าง ๆ เพื่อรีดประสิทธิภาพจากลำโพงขนาดเล็ก

  • มีการพูดคุยทั่วไปเกี่ยวกับรายงานความคืบหน้า Asahi Linux ล่าสุด

    • ไมโครโฟน PDM รับเสียงรอบทิศทางมากและไวมาก
    • จึงจำเป็นต้องใช้บีมฟอร์มมิง
    • งานก่อนหน้าที่ทำกับเอาต์พุตลำโพงถูกนำกลับมาใช้กับอินพุตไมโครโฟน
    • ด้วย PipeWire และ WirePlumber ทำให้การต่อสาย DSP chain สำหรับไมโครโฟนเป็นเรื่องง่าย

  • น่าจะดีถ้ามีการทำให้ผู้ผลิตรายอื่นสามารถสร้างไมโครโฟนอาเรย์ได้ง่ายด้วยเช่นกัน