เทคนิคการแชร์ข้อมูลแบบแก้ไขได้ระหว่าง Rust และ Python ด้วย PyO3

บทสรุป (Conclusion)

การที่ PyO3 ไม่สามารถเปิดเผย struct ที่ใช้ lifetime ของ Rust ให้กับ Python ได้โดยตรง อาจดูเหมือนเป็นข้อจำกัดในตอนแรก แต่ไลบรารีมาตรฐานของ Rust และ PyO3 มีเครื่องมือทรงพลังที่ช่วยก้าวข้ามข้อจำกัดนี้ได้ std::mem::take และ std::mem::replace ช่วยให้จัดการทั้ง mutable reference และ owned value ได้อย่างคล่องตัว ขณะที่ Arc และ Mutex มีประโยชน์อย่างมากในการเปิดเผยข้อมูลที่แชร์ร่วมกันและแก้ไขได้ให้กับ Python โดยเฉพาะ MutexExt ของ PyO3 ซึ่งเป็นเครื่องมือสำคัญในการป้องกัน deadlock เมื่อต้องใช้ mutex ร่วมกับ Python

---

สรุปประเด็นสำคัญ

เอกสารนี้อธิบายปัญหาทางเทคนิคที่พบและกระบวนการแก้ไขทีละขั้นตอน ระหว่างการแชร์ข้อมูลแบบ mutable ระหว่าง Rust และ Python ในโปรเจ็กต์ที่นำภาษาเทมเพลตของ Django มาเขียนใหม่ด้วย Rust

• พื้นหลัง: ภาษาเทมเพลตของ Django ใช้อ็อบเจ็กต์ชื่อ context เพื่อส่งข้อมูลแบบไดนามิกให้กับเทมเพลต ใน implementation ฝั่ง Rust ของโปรเจ็กต์นี้ ได้กำหนด context นี้เป็น struct ของ Rust และจำเป็นต้องส่งต่อเป็น mutable reference (&mut Context) เมื่อทำการเรนเดอร์ template tag

• ปัญหาเริ่มต้น: ต้องส่ง mutable reference (&mut Context) จากโค้ด Rust ไปยังฟังก์ชัน Python เพื่อรัน custom tag แต่ Python ไม่เข้าใจ lifetime ของ Rust และ PyO3 ซึ่งเป็นไลบรารีเชื่อมต่อ Rust-Python ก็ต้องการ owned value ทำให้เมื่อพยายามส่ง reference โดยตรงจะเกิด compile error

• กระบวนการแก้ปัญหา:

  1. แก้ปัญหาเรื่อง ownership: ใช้ std::mem::take เพื่อดึง ownership ออกจาก &mut Context ชั่วคราว แล้วสร้างอ็อบเจ็กต์ Context แบบ owned ที่สามารถส่งให้ Python ได้ หลังจากโค้ด Python ทำงานเสร็จ ก็พยายามใช้ std::mem::replace เพื่อนำ Context ที่ผ่านการประมวลผลแล้วกลับไปไว้ยังตำแหน่ง reference เดิม
  2. แก้ error แบบ 'Moved Value': อย่างไรก็ตาม ในกระบวนการนี้ เมื่ออ็อบเจ็กต์ Context ถูก move เข้าไปยังฟังก์ชัน Python แล้วพยายามนำกลับมาใช้อีก จะเกิด compile error ว่า "use of moved value" เพื่อแก้ปัญหานี้ จึงนำ Arc (Atomic Reference Count) มาใช้ห่อ Context ทำให้สามารถส่ง reference ที่คัดลอกมา (clone) ไปยัง Python ได้โดยไม่ต้องย้าย ownership
  3. การรับมือเมื่อ Python ยังคงเก็บ reference ไว้: หาก Python ยังคงถือ reference ของ Context เอาไว้ การกู้ ownership กลับด้วย Arc::try_unwrap อาจล้มเหลว ในกรณีนี้จึงมีการทำ fallback method เช่น clone_ref ที่ทำ deep clone ของข้อมูลภายใน Context เพื่อคัดลอกข้อมูลออกมา
  4. อนุญาตให้ Python แก้ไขข้อมูลได้: ในขั้นสุดท้าย เพื่อให้โค้ด Python ไม่ได้มีแค่อ่าน Context แต่สามารถแก้ไขได้ด้วย จึงมีการนำ Mutex มาใช้ โดยใช้โครงสร้าง Arc<Mutex<Context>> เพื่อรับประกันว่าหลายเธรดจะเข้าถึงและแก้ไขข้อมูลได้อย่างปลอดภัย และเพื่อป้องกัน deadlock กับ Python interpreter จึงใช้เมธอด lock_py_attached ของ MutexExt ที่ PyO3 มีให้