Versor: เฟรมเวิร์ก PyTorch ที่ใช้การหมุนเชิงเรขาคณิต (Rotor) แทนการคูณเมทริกซ์

เบื้องหลังความสำเร็จอันน่าทึ่งของดีปเลิร์นนิงมักมี 'การคูณเมทริกซ์ (Wx+b)' อยู่เสมอ แต่ Versor ตั้งคำถามกับมาตรฐานนี้ โดยมองว่า "เมทริกซ์ก่อให้เกิดความบิดเบือนที่ฉีกหรือย่นแมนิโฟลด์ (Manifold) ระหว่างกระบวนการประมวลผลข้อมูล"

Versor คือเฟรมเวิร์ก PyTorch บนพื้นฐาน Geometric Algebra ที่พัฒนาขึ้นเพื่อก้าวข้าม "เพดานของพีชคณิตเชิงเส้น (Linear Algebra Ceiling)" นี้ โดยใช้ Rotor แทนเมทริกซ์ เพื่อนำเสนอพาราไดม์ดีปเลิร์นนิงแบบใหม่ที่คงโครงสร้างโทโพโลยี (Topological Structure) ดั้งเดิมของข้อมูลไว้

แนวคิดหลัก: Unbending (คลี่ออก) แล้วจึง Filtering (คัดออก)

แนวทางของ Versor ไม่ใช่แค่ "เก็บทุกมิติไว้โดยไม่ลดทอน" แต่หัวใจสำคัญคือ "จัดแนว (Align) ข้อมูลโดยไม่ทำให้เสียรูป แล้วคัดเฉพาะข้อมูลที่จำเป็นออกมาอย่างสะอาด"

1. Unbending (Rotor)

   เมทริกซ์ทั่วไปมักมาพร้อมการเฉือน (Shear) และการยืดหด (Stretch) แต่ sandwich product ของ Rotor เป็นการแปลงแบบรักษาระยะ (Isometry) เปรียบเหมือนการรีดกระดาษที่ยับให้เรียบ โดยหมุนและคลี่ข้อมูลออกพร้อมรักษาระยะและมุมไว้อย่างสมบูรณ์

2. Geometric Filtering (BladeSelector)

   เมื่อข้อมูลถูกคลี่ออกอย่างถูกต้องตามเรขาคณิตแล้ว ข้อมูลจะถูกจัดแนวไปตามแกนบางตัว (Basis Blade) หรือเกรด (Grade) จากนั้น BladeSelector จะตัดทิ้งส่วนที่เป็นนอยส์และคงไว้เฉพาะข้อมูลเรขาคณิตแกนหลัก (เช่น องค์ประกอบแบบเวกเตอร์) เพื่อทำการลดมิติ นี่เป็นการบีบอัดที่ต่างเชิงคุณภาพจากวิธีเดิมอย่าง Projection ซึ่งลดมิติด้วยการบีบให้เสียรูปโดยตรง

คุณสมบัติเด่น

• Metric-Agnostic Kernel: ตั้งแต่ยูคลิด (Cl(3,0)) ไปจนถึงกาลอวกาศ (Cl(1,3)) และเรขาคณิตเชิงสอดคล้อง (Cl(4,1)) สามารถใช้โค้ดเดียวกันได้เพียงเปลี่ยน signature

• White-Box AI: พารามิเตอร์ที่เรียนรู้ไม่ใช่ตัวเลขลึกลับ แต่คือ "ระนาบการหมุน (Bivector)" ทำให้ตีความได้ว่าโมเดลหมุนข้อมูลไปบน "ระนาบใด และหมุนมากแค่ไหน" เพื่อจัดแนว

• ประสิทธิภาพสูงและน้ำหนักเบา: รองรับการสเกลแบบ O(n) และเบาพอที่จะทำ real-time inference ได้แม้บน M4 CPU (5.8ms/โมเลกุล)

ขณะที่งานวิจัยที่กำลังได้รับความสนใจในแวดวงวิชาการอย่าง GATr เลือกใช้ GA ภายในโครงสร้างทรานส์ฟอร์เมอร์ในแบบ 'architectural approach' นั้น Versor มุ่งไปที่ 'แก่นแท้เชิงเรขาคณิต' โดยนำ Rotor มาใช้ตั้งแต่หน่วยปฏิบัติการพื้นฐานที่สุดเพื่อป้องกันการบิดเบือนของปริภูมิตั้งแต่ต้นทาง ทำให้ได้ความเบาที่รองรับ real-time inference ได้ด้วยจำนวนพารามิเตอร์ที่น้อยกว่ามาก

ผลลัพธ์เบนช์มาร์ก

• QM9 (คุณสมบัติโมเลกุล): เมื่อใช้เรขาคณิตยูคลิดแบบ 3D (Cl(3,0)) สามารถทำ MAE ได้ 14.42 meV ด้วยการเทรนเพียง 1 ชั่วโมงบน 4090 GPU เดี่ยว

• Motion Alignment (UCI-HAR): จัดแนวข้อมูลการเคลื่อนไหวมิติสูงให้เป็น latent space ที่แยกเชิงเส้นได้ด้วยการหมุนเพียงอย่างเดียว จนได้ความแม่นยำราว 100%

• Semantic Disentanglement (NLP): บนชุดข้อมูล 20 Newsgroups สามารถทำ Grade Purity ได้ 100% ผ่านการแยกเชิงเรขาคณิต (Grade Purity 100% หมายถึงข้อมูลที่ซับซ้อนพันกันถูกแยกและจัดแนวอย่างสมบูรณ์โดยไม่มีนอยส์ และเหลือเพียงองค์ประกอบแบบ 'เวกเตอร์ (Vector)' เท่านั้น เป็นหลักฐานทางคณิตศาสตร์ว่าการเรียนรู้โครงสร้างเชิงเรขาคณิตประสบความสำเร็จ)

นี่ไม่ใช่ Overfitting หรือ?

ด้วยความเร็วในการลู่เข้าและความแม่นยำที่สูง อาจทำให้เกิดข้อสงสัยได้ แต่สิ่งนี้เกิดจาก อคติเชิงอุปนัยทางเรขาคณิตที่ทรงพลัง (Geometric Inductive Bias)

• เมทริกซ์ทั่วไป (n x n) มีอิสระมากเกินไปจนเรียนรู้นอยส์ไปด้วย

• แต่ Rotor ของ Versor ถูกจำกัดทางคณิตศาสตร์ให้ทำได้เพียง 'การหมุน (Rotation)' เท่านั้น

• เพราะเป็น โครงสร้างที่ไม่สามารถทำการเฉือน (Shear) หรือยืดหด (Stretch) ได้ ต่อให้โมเดลอยากเรียนรู้อย่างอื่นนอกเหนือจากโครงสร้างแก่นแท้ (Structure) ของข้อมูลก็ทำไม่ได้ จึงให้ความสามารถในการ generalize ที่ดีแม้มีพารามิเตอร์น้อย

Versor ทำงานบน Pytorch จึงสามารถใช้อินเทอร์เฟซที่คล้ายกันได้โดยตรง และตอนนี้ก็กำลังพัฒนาทั้งแทสก์และเมตริกใหม่ ๆ อย่างต่อเนื่อง จึงยินดีอย่างยิ่งหากได้รับฟีดแบ็กจากทุกคน

[kunggom]

รบกวนช่วยอธิบายได้ไหมว่าโปรเจกต์ที่คุณโพสต์ไว้เกี่ยวข้องกับเนื้อหาในงานวิจัยฉบับถัดไปอย่างไรบ้าง?

Versor: A Geometric Sequence Architecture
https://arxiv.org/abs/2602.10195
https://github.com/VersorAI/Versor

ชื่อก็เหมือนกัน และแนวคิดที่ใช้ก็ดูคล้ายกันด้วย แต่ผมไม่ได้เชี่ยวชาญด้านนี้ เลยยังไม่ค่อยเข้าใจว่ามันเชื่อมโยงกันในลักษณะไหน
พอเห็นว่าเดโมที่เป็นรูปธรรมแตกต่างกัน ก็น่าจะเป็นกรณีที่ไอเดียคล้ายกันเกิดขึ้นพร้อมกันในช่วงเวลาใกล้เคียงกันมากกว่า เลยอยากถามว่าทิศทางล่าสุดของสาขานี้เองก็กำลังมุ่งไปทางนี้อยู่หรือเปล่า

[concode0]

ขอบคุณที่ให้ความสนใจครับ/ค่ะ สำหรับงานวิจัยที่คุณถามถึงนั้น ผม/ฉันทราบอยู่แล้ว และได้ทำการตรวจสอบทางเทคนิคอย่างละเอียดด้วยตนเองมาก่อนแล้ว
จากผลการตรวจสอบ พบหลักฐานหลายประการที่บ่งชี้ถึงการประพฤติมิชอบทางการวิจัย (Research Misconduct) อย่างร้ายแรงในบทความดังกล่าว เช่น ความเป็นไปไม่ได้ในทางกายภาพของตัวชี้วัดประสิทธิภาพที่อ้างไว้ และการบิดเบือนข้อมูล ด้วยเหตุนี้ ผม/ฉันจึงได้ยื่นรายงานอย่างเป็นทางการต่อคณะกรรมการจริยธรรมการวิจัยของสถาบันต้นสังกัดของผู้เขียน คือ QMUL (Queen Mary University of London) เรียบร้อยแล้ว
ขณะนี้ได้รับการตอบกลับจากทางมหาวิทยาลัยแล้วว่าเรื่องร้องเรียนได้รับการรับเรื่องอย่างถูกต้อง และได้เข้าสู่กระบวนการสอบสวนอย่างเป็นทางการ (Triage stage) แล้ว ดังนั้น จึงขอความกรุณาให้เข้าใจว่าบทความดังกล่าวไม่ใช่กรณีที่แนวคิดบังเอิญซ้ำกัน แต่เป็นประเด็นที่ตรวจพบข้อบกพร่องด้านจริยธรรมการวิจัยและกำลังอยู่ระหว่างการสอบสวนอย่างเป็นทางการ
ขอขอบคุณอีกครั้งที่มองเห็นคุณค่าของโปรเจกต์ต้นฉบับและฝากคำถามไว้ครับ/ค่ะ

[kunggom]

เข้าใจแล้วครับ อย่างไรก็ตาม ผมหวังว่าทุกอย่างจะคลี่คลายไปตามครรลองที่ควรจะเป็น

[junghan0611]

โอ้ น่าสนใจนะครับ

[villcenter1]

มีผลลัพธ์ที่พิสูจน์ได้ด้วยตัวเลขบ้างไหม แทนที่จะใช้ตัวชี้วัดที่กำกวมอย่างคำว่า "ยอดเยี่ยม"?

[concode0]

ขอบคุณสำหรับคำติชม ตัวเลขที่ระบุไว้ในเนื้อหาอาจทำให้รู้สึกว่า "คลุมเครือ" อยู่บ้างเพราะไม่คุ้นเคย แต่ Versor ได้รับการพัฒนาบนพื้นฐานของการพิสูจน์เชิงตัวเลขอย่างเคร่งครัด ขอสรุปตัวชี้วัดสำคัญอีกครั้งดังนี้

ในงาน QM9 สามารถทำได้ 14.42 meV ภายในเวลาไม่ถึง 1 ชั่วโมงด้วย 4090 เพียงตัวเดียว นี่เป็นตัวเลขที่พิสูจน์ประสิทธิภาพด้านทรัพยากรที่ดีกว่าหลายสิบเท่าเมื่อเทียบกับโมเดล SOTA เดิมที่ต้องใช้การประมวลผลบนคลัสเตอร์ขนาดใหญ่เป็นเวลาหลายวัน

แม้ในสภาพแวดล้อม CPU (M4) ก็ยังทำความเร็วในการอนุมานได้ที่ 5.8ms/molecule ซึ่งยืนยันประสิทธิภาพเมื่อเทียบกับโมเดลอื่น ๆ

ในงาน UCI-HAR ก็สามารถบรรลุความแม่นยำ 100% และ Grade Purity ผ่านการจัดแนวเชิงเรขาคณิตได้เช่นกัน นี่ไม่ใช่การคาดเดาทางสถิติแบบง่าย ๆ แต่เป็นตัวเลขที่ชัดเจนที่สุดซึ่งหมายความว่าได้จัดแนวโครงสร้างเชิงโทโพโลยีของข้อมูลอย่างสมบูรณ์

Versor กำลังพิสูจน์การมีอยู่จริงทางคณิตศาสตร์ของสิ่งที่เรียกว่า geometric constraints และใน benchmark ที่จะเปิดเผยต่อไปในอนาคต เราจะตอบด้วยตัวเลขเช่นกัน ขอฝากความสนใจด้วยครับ

[skageektp]

คุณให้ตัวเลขมาได้ดีแล้ว แต่คิดว่าน่าจะดีถ้าบอกการเปรียบเทียบของตัวเลขเหล่านั้นด้วยครับ/ค่ะ เวลาใช้ฮาร์ดแวร์เดียวกันทำงานที่คล้ายกัน ความเร็วเพิ่มขึ้นเท่าไรต่างหากที่น่าอยากรู้ ไม่ใช่ความเร็วเป็น "เท่าไร" ซึ่งจริง ๆ แล้วหลายคนน่าจะยังนึกภาพไม่ออกและไม่ได้สงสัยเรื่องนั้นมากนัก

[concode0]

แน่นอนว่าจะมีการรวมข้อมูลเปรียบเทียบไว้ด้วย อย่างไรก็ตาม เราเห็นว่าเพียงแค่ตัวเลขประสิทธิภาพต่อชั่วโมงของ GPU เดี่ยวที่ได้นำเสนอไปแล้ว ก็เพียงพอที่จะอธิบายความล้ำหน้าของสถาปัตยกรรมนี้ได้แล้ว หากคุณต้องการการเปรียบเทียบที่เข้าใจได้ง่ายยิ่งขึ้น ขอความกรุณารอกราฟที่จะมีการอัปเดตในเร็ว ๆ นี้

[heal9179]

ผมว่าการเข้าถึงแบบนี้ดีมากจริงๆ
ตอนแรกคิดว่าทางด้านโทโพโลยีเชิงพีชคณิตน่าจะมีนัยสำคัญ แต่แนวนี้เรียบง่ายกว่ามากนะครับ

[concode0]

ขอบคุณมากจริง ๆ สำหรับความเห็นด้วยครับ/ค่ะ ผม/ฉันเองก็เคยพิจารณาแนวทางด้านพีชคณิตเชิงทอพอโลยีในระหว่างกระบวนการวิจัยเช่นกัน แต่สุดท้ายก็ได้ข้อสรุปว่า ในมุมมองเชิงวิศวกรรม ความชัดเจนตรงไปตรงมาของพีชคณิตเรขาคณิตเข้ากันได้ดีกับดีพเลิร์นนิงมากกว่า การที่คุณมองเห็นคุณค่าของ "ความเรียบง่าย" นั้น ทำให้ผม/ฉันมีความมั่นใจในแนวทางของตัวเองมากขึ้นมากครับ/ค่ะ