- เป็นการทดลองเปรียบเทียบ LLM กับ Junior Lawyer และ Legal Process Outsourcing (LPO) ในงานตรวจทานสัญญา โดยใช้ดุลยพินิจของ Senior Lawyer เป็น เกณฑ์คำตอบอ้างอิง และประเมินทั้งการตัดสินประเด็น การระบุตำแหน่ง ความเร็ว และต้นทุน
- ในด้าน การตัดสินประเด็นทางกฎหมาย GPT4-1106 ได้ F-score 0.871 ซึ่งใกล้เคียงกับ LPO ที่ 0.874 และสูงกว่า Junior Lawyer ที่ 0.860 แต่ในการระบุตำแหน่ง LPO ที่ 0.770 ยังนำหน้า GPT4-32k ที่ 0.740
- การทดลองใช้ สัญญาจัดซื้อจัดจ้าง 10 ฉบับ ที่ทำให้นิรนามแล้ว และตัด NDA ออกเพราะเอกสารสั้นเกินไปไม่เหมาะกับการประเมินที่ซับซ้อน โดยรวมสัญญาภายใต้เขตอำนาจสหรัฐฯ และนิวซีแลนด์อย่างสมดุล
- ความเร็วในการตรวจทานนั้น LLM เหนือกว่าชัดเจน โดยเวลาเฉลี่ยคือ Junior Lawyer 56.17 นาที, LPO 201 นาที, ขณะที่ GPT4-1106 ใช้ 4.70 นาที, GPT4-32k 2.11 นาที และ Palm2 text-bison 0.73 นาที
- ต้นทุนต่อสัญญาคำนวณได้ว่า Claude 2.0 และ Claude 2.1 อยู่ที่ 0.02 ดอลลาร์ และ GPT4-1106 อยู่ที่ 0.25 ดอลลาร์ เทียบกับ Junior Lawyer 74.26 ดอลลาร์ และ LPO 36.85 ดอลลาร์ จึงลดต้นทุนได้สูงสุด 99.97%
เปรียบเทียบอะไรกันบ้างในการตรวจทานสัญญา
- เป้าหมายคือประเมินว่า LLM จะเหนือกว่าหรืออย่างน้อยเทียบเท่า Junior Lawyer และ LPO ในงานตรวจทานสัญญาปริมาณมากในด้าน ความแม่นยำ ความเร็ว และ ความคุ้มค่าด้านต้นทุน หรือไม่
- งานที่ใช้เปรียบเทียบคือการตัดสินประเด็นทางกฎหมายในสัญญา และค้นหาตำแหน่งของข้อสัญญาที่มีผลต่อการตัดสินนั้น
- ใช้คำวินิจฉัยที่ Senior Lawyer จัดทำขึ้นเป็น เกณฑ์คำตอบอ้างอิง เพื่อเทียบผลของ LLM, Junior Lawyer และ LPO
- คำถามวิจัยสรุปได้เป็น 3 ข้อ
- LLM ดีกว่า Junior Lawyer และ LPO หรือไม่ ในการตัดสินประเด็นทางกฎหมายและการระบุตำแหน่งในสัญญา
- LLM สามารถตรวจทานสัญญาได้เร็วกว่าไหม
- LLM สามารถตรวจทานสัญญาได้ถูกกว่าหรือไม่
ชุดข้อมูลและการออกแบบการทดลอง
- ชุดข้อมูลประกอบด้วย สัญญาจัดซื้อจัดจ้าง 10 ฉบับ ที่มาจากสัญญากฎหมายจริง และถูกทำให้นิรนามเพื่อรักษาความลับ
- เลือกสัญญาจัดซื้อจัดจ้างเพราะเป็นประเภทสัญญาที่มีปริมาณการตรวจทานสูงในงานกฎหมาย ส่วน NDA ถูกตัดออกเพราะโดยทั่วไปมีความยาวสั้น จึงไม่เพียงพอสำหรับประเมินความสามารถของ LLM ในการตัดสินประเด็นทางกฎหมายที่ซับซ้อน
- เขตอำนาจศาลรวมทั้งสหรัฐฯ และนิวซีแลนด์อย่างสมดุล
- สหรัฐฯ ถูกพิจารณาเป็นระบบที่ผสมระหว่างกฎหมายลายลักษณ์อักษรและ common law
- นิวซีแลนด์ถูกพิจารณาเป็นระบบที่อิง common law
- สัญญาแต่ละฉบับถูกวิเคราะห์ด้วย โครงสร้าง 2 องค์ประกอบ ได้แก่ document scenario และ contract review playbook
- document scenario ให้ข้อมูลเรื่องเขตอำนาจ ประวัติ ขนาดองค์กร และบริบทสินค้า·บริการของคู่สัญญา
- review playbook ให้รายการตรวจสอบมาตรฐานที่สกัดมาจากกรณีใช้งานจริง
- Senior Lawyer จะตัดสินว่าสัญญาแต่ละฉบับตรงตามเกณฑ์ที่กำหนดไว้ล่วงหน้าหรือไม่ และระบุบันทึกส่วนของสัญญาที่ส่งผลต่อการตัดสินนั้น
- หากไม่มีข้อมูลที่เกี่ยวข้องอยู่ในสัญญาจนทำให้ไม่เข้าเกณฑ์ ก็มีการบันทึกไว้อย่างชัดเจนเช่นกัน
- ผลจาก Senior Lawyer หลายคนถูกรวมตามหลักเสียงข้างมาก
- งานวิจัยดำเนินการตามมาตรฐานจริยธรรมของ Onit Inc. รวมถึงการแจ้งผู้เข้าร่วม สิทธิในการถอนตัว การทำให้นิรนาม การลบข้อมูลระบุตัวตนจากข้อมูลสัญญา และการมีส่วนร่วมกับการตรวจสอบจากคณะกรรมการจริยธรรม
การเลือกโมเดลและพรอมต์
- เลือกโมเดลโดยพิจารณาจากผู้ให้บริการหลักในวงการ LLM ผลการทดสอบเบื้องต้น และขนาดของ context window
- โมเดลที่รองรับไม่ถึง 16,000 โทเค็นถูกตัดออก เพราะมองว่าจัดการบริบทของสัญญาทั้งฉบับได้ยาก
- LLaMA2 และ Amazon Titan ต้องแบ่งเอกสารออกเป็นหลายส่วน และต้องใส่ scenario, playbook และข้อกำหนดนิยามซ้ำในแต่ละส่วน
- มีการพิจารณาเทคนิคอย่าง RAG ด้วย แต่ในการประเมินเบื้องต้นพบว่าทำให้ความเข้าใจบริบทของสัญญาไม่ต่อเนื่อง จึงไม่เหมาะจะใช้เทียบกับความเข้าใจระดับทนายความมนุษย์
- โมเดลและการตั้งค่าที่รวมอยู่ในการประเมินมีดังนี้
- GPT4 32k: temperature 0.2, อินพุต 32,768 โทเค็น, ข้อมูลฝึกถึงกันยายน 2021
- GPT4-1106: temperature 0.2, อินพุต 128,000 โทเค็น, ข้อมูลฝึกถึงเมษายน 2023
- GPT3.5-turbo-16k: temperature 0.2, อินพุต 16,385 โทเค็น, ข้อมูลฝึกถึงกันยายน 2021
- Claude 2.1: temperature 0.2, อินพุต 200,000 โทเค็น, ข้อมูลฝึกถึงต้นปี 2023
- Claude 2.0: temperature 0.2, อินพุต 100,000 โทเค็น, ข้อมูลฝึกถึงต้นปี 2023
- Palm2 Text-bison-32k-2: temperature 0.2, อินพุต 32,768 โทเค็น, ข้อมูลฝึกถึงกลางปี 2021
- พรอมต์ประกอบด้วยบทบาท งาน และบริบท
- บทบาททำให้โมเดลทำตาม persona แบบทนายความ
- งานคือการตรวจทานสัญญาตามเกณฑ์ที่กำหนด และตัดสินว่ามีประเด็นหรือไม่พร้อมระบุตำแหน่ง
- บริบทถูกจัดให้คล้ายกับคำสั่งที่มอบแก่ทนายความ, LPO และผู้ตรวจทานสัญญา เช่น ผู้อ่านเป้าหมายของสัญญา ภูมิหลังของคู่สัญญา และสถานการณ์การเจรจา
ความแม่นยำ: การตัดสินประเด็นใกล้เคียงกัน แต่การระบุตำแหน่งยังมีช่องว่าง
- ระดับความสอดคล้องกันระหว่างกลุ่มผู้ปฏิบัติงานกฎหมายประเมินด้วย Cronbach’s Alpha
- ความสอดคล้องของผู้เข้าร่วมทั้งหมดอยู่ในระดับสูงที่ 0.923366
- ความสอดคล้องกันระหว่าง Senior Lawyer ด้วยกันเองต่ำที่สุดที่ 0.719308
- Junior Lawyer อยู่ที่ 0.765058
- LPO อยู่ที่ 1.0 แสดงถึงความสอดคล้องของคำตอบอย่างสมบูรณ์
- ใน การตัดสินประเด็นทางกฎหมาย ผลสูงสุดตาม F-score คือ LPO และ GPT4-1106
- LPO: precision 0.933, recall 0.823, F-score 0.874
- GPT4-1106: precision 0.835, recall 0.910, F-score 0.871
- Junior Lawyer: precision 0.876, recall 0.845, F-score 0.860
- Claude 2.0 และ GPT4-32k ได้ F-score 0.817 และ 0.820 ตามลำดับ
- GPT3.5 ได้ 0.657 และ Palm2 text-bison ได้ 0.708 ซึ่งค่อนข้างต่ำ
- ใน การระบุตำแหน่งของประเด็น LPO ทำ F-score ได้สูงที่สุด
- LPO: precision 0.915, recall 0.666, F-score 0.770
- GPT4-32k: precision 0.847, recall 0.660, F-score 0.740
- Claude 2.1: precision 0.911, recall 0.569, F-score 0.701
- GPT4-1106: precision 0.857, recall 0.575, F-score 0.686
- Junior Lawyer: precision 0.866, recall 0.542, F-score 0.667
- Palm2 text-bison ได้ F-score 0.452 ต่ำที่สุด
- LLM อาจทำได้ใกล้เคียงหรือดีกว่า Junior Lawyer และ LPO ในการตัดสินประเด็น แต่ในงานระบุตำแหน่งข้อสัญญาอย่างแม่นยำยังมีความต่างระหว่างโมเดลมาก และไม่ได้เหนือกว่าผู้ปฏิบัติงานมนุษย์เสมอไป
ความเร็ว·ต้นทุน และข้อจำกัดในการนำไปใช้
- เวลาเฉลี่ยในการตรวจทานสัญญาของ LLM สั้นกว่าผู้ปฏิบัติงานมนุษย์มาก
- Senior Lawyer: 43.46 นาที
- Junior Lawyer: 56.17 นาที
- LPO: 201.00 นาที
- GPT4-1106: 4.70 นาที
- GPT4-32k: 2.11 นาที
- GPT3.5: 1.44 นาที
- Claude 2.1: 2.05 นาที
- Claude 2.0: 1.63 นาที
- Palm2 text-bison: 0.73 นาที
- Palm2 text-bison ซึ่งเป็น LLM ที่เร็วที่สุด ถูกคำนวณว่าเสร็จงานตรวจทานสัญญาเร็วกว่า LPO 276 เท่า และเร็วกว่า Junior Lawyer 77 เท่า
- การตั้งค่า ทดสอบ ปรับแต่งละเอียด และตรวจสอบ system prompt ของ LLM ใช้เวลาเฉลี่ย 16 ชั่วโมง ซึ่งใกล้เคียงกับเวลาที่ใช้มอบหมายงานลักษณะเดียวกันให้ Junior Lawyer และ LPO
- ต้นทุนเฉลี่ยต่อสัญญาแตกต่างกันมากระหว่างผู้ปฏิบัติงานมนุษย์กับ LLM
- Senior Lawyer: 75.92 ดอลลาร์
- Junior Lawyer: 74.26 ดอลลาร์
- LPO: 36.85 ดอลลาร์
- GPT4-1106: 0.25 ดอลลาร์
- GPT4-32k: 1.24 ดอลลาร์
- GPT3.5: 0.05 ดอลลาร์
- Claude 2.1: 0.02 ดอลลาร์
- Claude 2.0: 0.02 ดอลลาร์
- Palm2 text-bison: 0.03 ดอลลาร์
- การคำนวณต้นทุนอิงจากเวลาเฉลี่ยและอัตราค่าบริการต่อชั่วโมงของผู้ปฏิบัติงานมนุษย์ รวมถึงจำนวนโทเค็นอินพุต·เอาต์พุตเฉลี่ยและราคาต่อโทเค็นของ LLM
- สำหรับ Palm2 text-bison ใช้วิธีคำนวณตามจำนวนอักขระแทนโทเค็น
- LLM ที่มีประสิทธิภาพต่ำในการระบุตำแหน่งประเด็นอาจมีข้อจำกัดในการมาร์กอัปสัญญาได้ด้วยตัวเอง ดังนั้นในงานกฎหมาย การเลือกโมเดล จึงสำคัญพอ ๆ กับประสิทธิภาพและต้นทุน
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ผมบริหาร สตาร์ทอัพสร้างสัญญาทางกฎหมาย ที่นำสัญญาที่ทนายเขียนมาแปลงเป็นเทมเพลต และเคยลองทำฟีเจอร์วิเคราะห์ด้วย GPT บางส่วนเพื่อให้คนทั่วไปอ่านสัญญาและถามคำถามได้
ในการตรวจสัญญา GPT เก่งด้าน การวิเคราะห์เอกสาร มากกว่าการสร้างเอกสาร และบทความวิจัยนี้ก็สนับสนุนประเด็นนั้นด้วย อย่างไรก็ตาม พอลองใช้สตาร์ทอัพตรวจเอกสารด้วย AI หลายเจ้า เมื่อซักถามเอาคำตอบที่เฉพาะเจาะจง ส่วนใหญ่ก็พังกันหมด งานวิจัยนี้ดูเหมือนจะเป็นแค่ระดับการหาข้อกำหนดที่เกี่ยวข้อง ไม่ใช่บทสนทนาแบบที่ทนายกับลูกความโต้ตอบกัน
GPT ไม่มีความรับผิดทางกฎหมายแม้จะตอบผิด ดังนั้นจึงมีประโยชน์เมื่อคนฉลาดลงมือค้นคว้าเอง คล้ายกับเมื่อก่อนที่คนฉลาดก็ใช้ Google ค้นคว้าด้วยตัวเองได้
ส่วนเรื่องการสร้างสัญญา ผมมองว่าในกรณีส่วนใหญ่ คลังสัญญามาตรฐาน ที่เขียนและตรวจทานมาอย่างดีจะมีประโยชน์กว่าให้ GPT สร้างสัญญาเฉพาะตัวใหม่ทุกครั้งแบบสด ๆ ทนายมักกอดสัญญาไว้แน่น และกระบวนการหาทนายที่จะเขียนสัญญาให้เราเอาไปทำเป็นเทมเพลตก็ยากมาก เพราะสุดท้ายแล้วมันคือการลดแหล่งรายได้ในอนาคตของตัวเองและชุมชนวิชาชีพ GPT-4 ใช้เงินฝึกหลายร้อยล้านดอลลาร์ แต่ถ้าใช้แค่ 10 ล้านดอลลาร์สร้างคลังสัญญาที่ผ่านการตรวจทานดี ๆ ก็น่าจะมีประโยชน์กว่าเอาเงินเท่ากันไปฝึกโมเดลสร้างสัญญา
ผู้คนถามคำถามหลากหลายทีเดียวเกี่ยวกับสิ่งที่อยากทำกับเอกสาร แต่ GPT ยังทำได้ไม่ดี ในอนาคตอันใกล้ งานทนายคงยังเหลืออยู่
เช่น ราว 20 ปีก่อน อย่างน้อยในที่ที่ผมอยู่ สถาปนิกก็ไม่อยากทำแบบที่เอาไปขายราคาถูกให้คนจำนวนมาก เพราะคิดว่าแบบพวกนั้นจะทำให้ตลาดผลงานสถาปัตยกรรมหดตัว แต่เห็นได้ง่ายว่าคนส่วนใหญ่ไม่ได้ต้องการ แบบเฉพาะตัว จริง ๆ
สุดท้ายตลาดก็ไม่ได้สนใจมากนัก และพอมีใครสักคนสร้างไลบรารีแบบที่ใช้ได้กับโมเดลธุรกิจขึ้นมาได้ ปัญหาก็คลี่คลายเอง จากมุมมองของสถาปนิก ทางเลือกที่เหลือมีแค่ร่วมมือแล้วได้อะไรกลับมาบ้าง หรือไม่ก็เสียไปเลย
ผมคิดว่าทนายก็จะเดินเส้นทางเดียวกัน งานที่ง่ายที่สุดและทำเงินดีที่สุดจะถูกทำให้อัตโนมัติ ทำให้ต้องผ่านช่วงเวลาที่ยากลำบาก ตลาดบริการกฎหมายจะหดตัว และงานที่เหลือจะเป็นงานซับซ้อนกว่าที่ระบบอัตโนมัติจัดการไม่ได้
กลับรู้สึกว่าให้น้ำหนักมากกับเรื่องที่ผมไม่ได้รู้สึกว่าสำคัญนัก เช่น การดูแลสัตว์เลี้ยง ผมสามารถนำผลลัพธ์ไปแก้ให้เข้ากับตัวเองได้ แต่ถ้าเป็น บริการราคา 150 ดอลลาร์ ผมก็คาดหวังมากกว่านี้
บริษัทที่ผมนึกถึงสื่อในเอกสารการตลาดราวกับเป็นโซลูชันที่ใช้ AI ล้วน ๆ แต่ในความเป็นจริงดูเหมือนไม่ได้ทำงานด้วย AI ล้วนทั้งหมด
ในกรณีสุดโต่งอาจกลายเป็นปัญหาจริยธรรมและถูกสมาคมทนายลงโทษได้ แต่ส่วนใหญ่ไม่ใช่แค่ผลกระทบด้านชื่อเสียงหรือ มีสถานการณ์ไหนบ้างที่สามารถเอาผิด ทนายทางกฎหมาย สำหรับสัญญาที่เขียนผิดพลาดได้?
ในบรรดาพื้นที่ที่ LLM ช่วยได้ ผมคาดหวังกับ ด้านกฎหมาย เป็นพิเศษ ภายใน 5–10 ปี หรือดูจากงานวิจัยนี้แล้วอาจแทบจะมาถึงแล้วก็ได้ ผมน่าจะคุยกับ LLM “ทนาย” ที่เข้าถึงเอกสารภาษี การแพทย์ ประกัน และการสมรสของผมได้เป็นเวลาหลายชั่วโมง เพื่อรับคำแนะนำและข้อมูลที่ปรับเฉพาะตัวโดยไม่ต้องจ่ายชั่วโมงละ 500 ดอลลาร์
จะมีคลื่นของคนทั่วไปที่รู้เรื่องกฎหมายดีขึ้น และผมตั้งตารอจริง ๆ
ผมเคยถาม LLM เกี่ยวกับไลเซนส์และผลทางกฎหมายที่เกี่ยวกับซอฟต์แวร์แล้ว และสามารถปูพื้นฐานสำหรับคำถามระดับโปรเจกต์งานอดิเรกได้ โดยไม่ต้องดึงผู้เชี่ยวชาญราคาแพงเข้ามา
แต่ถ้ามีเงินก้อนใหญ่ผูกอยู่กับการตัดสินใจ แน่นอนว่าผมจะใช้บริการผู้เชี่ยวชาญ เรื่องแบบนี้ “ถูกเป็นส่วนใหญ่” ยังไม่พอ
ธุรกิจหลักของเราคือการสร้างเอกสารกฎหมาย และทำงานด้วย ตรรกะแบบ rule-based ไม่ใช่ AI จากผลของธุรกิจหลัก เรามีเอกสารกฎหมายของผู้ใช้อยู่แล้ว จึงอยู่ในตำแหน่งที่ดีมากในการทำฟีเจอร์แชต AI เสริมที่เกี่ยวข้องกับเอกสารเหล่านั้น
เมื่อเร็ว ๆ นี้เราเพิ่งนำ AI แนะนำผลิตภัณฑ์ขึ้นใช้งานในโปรดักชัน บางส่วนเป็น rule-based และ GPT-4 เป็นผู้สร้างข้อความแนะนำแบบปรับเฉพาะบุคคล ตอนนี้เรากำลังสร้างฟีเจอร์แชต AI ที่ช่วยให้ผู้ใช้เข้าใจเอกสารกฎหมายหลายฉบับและบริการของเรา เราตั้งใจจะใช้แชต AI นี้แทนฝ่ายสนับสนุนลูกค้าด่านแรก แต่ก่อนจะโกรธ อยากให้รู้ว่าฝ่ายสนับสนุนด่านแรกในปัจจุบันเป็น AI แบบ rule-based ที่แย่มากอยู่แล้ว
เว็บไซต์หลักภาษาฟินแลนด์คือ https://aatos.app นอกจากนี้ยังมีบริการบางส่วนสำหรับ SE และ DK และเมื่อเร็ว ๆ นี้ใน UK เราเพิ่งเปิดเฉพาะบริการลายเซ็นอิเล็กทรอนิกส์ก่อน
ขอสงวนการตัดสินเกี่ยวกับความเป็นไปได้ในการนำ LLM ไปใช้ในวงการกฎหมายไว้ก่อน จนกว่าจะมีการทดสอบกับงานอื่นนอกเหนือจากการตรวจเอกสารและสัญญา ในงานกฎหมายขององค์กรขนาดใหญ่ การตรวจสัญญามักถูกจ้างเหมาภายนอกให้บัณฑิตจบใหม่หลายร้อยคน และเป็นงานตรวจแก้ที่ใช้ความสามารถของทนายความจริง ๆ เพียงขั้นต่ำ อีกทั้งยังช่วยเพิ่มรายได้ให้บริษัท
บริการทางกฎหมายที่บุคคลทั่วไปมักซื้อคือ คดีครอบครัว, คดีอาญา, คดีมโนสาเร่ เป็นต้น ผมไม่คิดว่า LLM ในอนาคตอันใกล้จะรับมือกับการวิเคราะห์ตามข้อเท็จจริงและสถานการณ์เฉพาะที่จำเป็นต่อการดำเนินคดีอาญาร้ายแรงได้ และก็ยังไม่เคยเห็นว่ามีใครแสดงให้เห็นว่า LLM เข้าถึงพลวัตครอบครัวที่เฉพาะตัว เฉพาะคดี และซับซ้อนยุ่งเหยิง ซึ่งจำเป็นในคดีสิทธิเลี้ยงดูบุตรหรือคดีหย่าที่มีข้อพิพาทได้
ไม่มีเหตุผลที่จะไม่ยอมรับ LLM ในฐานะเครื่องมือที่ทนายความใช้ แต่ผมไม่คิดเลยว่าเทคโนโลยีนี้พร้อมนำเข้าสู่การปฏิบัติงานจริง นอกเหนือจากงานตรวจแก้ทางกฎหมายที่ทำซ้ำ ๆ
ถ้าไม่มีอารมณ์ มุมมองส่วนตัว และคำพิพากษาบรรทัดฐานที่สะสมบนพื้นฐานเหล่านั้น ก็ไม่แน่ใจเหมือนกันว่าคดีเหล่านี้จะออกมาในรูปแบบไหน
ผมดูแลงานข้อมูลและ AI ในบริษัทนายหน้าประกันภัยเชิงพาณิชย์ที่ขับเคลื่อนด้วยเทคโนโลยี เรากำลังสร้าง เครื่องมือวิเคราะห์สัญญาเชิงลึก ที่เฉพาะทางสำหรับข้อกำหนดด้านประกันภัยโดยใช้ GPT-4 และตอนอยู่ที่ Google ผมก็เคยสร้างโซลูชัน LLM หลายอย่างให้ทีมกฎหมายของ Google ตั้งแต่การจัดหมวดหมู่สิทธิบัตรไปจนถึงการสนับสนุนกระบวนการเปิดเผยพยานหลักฐาน
โมเดลภาษาทำได้ดีมากในการทำความเข้าใจถ้อยคำทางกฎหมายและวิเคราะห์สถานการณ์ แต่แอปพลิเคชันด้านกฎหมายจำนวนมากเชื่อมโยงกับการตัดสินใจสำคัญที่ผิดพลาดไม่ได้ เช่น “สัญญานี้ได้รับความคุ้มครองภายใต้โปรแกรมประกันปัจจุบันหรือไม่?” ดังนั้นเราจึงสร้างผลิตภัณฑ์ LLM ในสายกฎหมายตามหลักการต่อไปนี้
ต้องเป็น เครื่องมือแบบ human-in-the-loop ที่ผู้เชี่ยวชาญใช้ร่วมด้วย หากเป็นไปได้ควรออกแบบเป็นเครื่องมือสนับสนุนการตัดสินใจ ไม่ใช่ระบบอัตโนมัติ ถึงอย่างนั้นก็ยังประหยัดเวลาได้มหาศาล
ต้องมีความโปร่งใสและการอ้างอิง หากเป็นเครื่องมือที่มนุษย์ใช้ร่วมด้วย ก็ต้องมีกลไกสร้างความไว้วางใจ ไม่ว่าจะไฮไลต์ข้อสัญญาในเอกสารที่ LLM อ้างถึง หรืออธิบายว่าทำไมบางส่วนของการวิเคราะห์จึงไม่ได้ถูกให้มา การอ้างอิงหลักฐานเป็นเรื่องสำคัญ
ควรปรับให้เน้น precision มากกว่า recall ในกรณีใช้งานด้านกฎหมายจำนวนมาก false positive และ hallucination เป็นเรื่องแย่เป็นพิเศษ ดังนั้นการปรับโมเดลหรือพรอมป์ให้เน้น precision จะช่วยบรรเทาได้
ที่ว่า “ปรับให้เน้น precision” หมายถึง prompt engineering หรือหมายถึงการ fine-tune GPT-4 จริง ๆ?
ไม่ใช่ว่าบทความวิจัยนี้ไม่มีข้อดีเลย แต่ดูเหมือนเป็นข้ออ้างเพื่อออกประโยคเกินจริงเกี่ยวกับทั้งกลุ่มอาชีพหรือ “อุตสาหกรรม” บางทีอาจเพื่อเพิ่มการมองเห็นและขายอะไรสักอย่างในภายหลัง
ส่วนที่แย่ที่สุดคือการอ้าง งานวิจัยก่อนหน้า เพียงเอกสารพรีพรินต์ฉบับเดียวเท่านั้น เอกสารนั้นเองก็ว่าด้วยการให้เหตุผลทางกฎหมายทั่วไป ไม่ใช่การตรวจสัญญา แน่นอนว่าบางส่วนของ LegalBench เป็นเรื่อง “การตีความ” และสร้างต่อจากเบนช์มาร์กการตรวจสัญญาที่มีอยู่ แต่ก็น่าจะหางานวิจัยที่เกี่ยวข้องมากกว่านี้ได้
การทำให้การตรวจเอกสารทางกฎหมายเป็นอัตโนมัติเป็นสาขาที่คึกคักมากใน NLP มาประมาณ 20 ปีแล้ว รวมถึงงานถาม-ตอบ และยิ่งคึกคักขึ้นมากหลังปี 2017 อย่างน้อยเครื่องมืออย่าง Kira และ Luminance แม้ไม่ได้ใช้ LLM ก็ถูกใช้ค่อนข้างแพร่หลายในทีมกฎหมายและสำนักงานกฎหมายทั่วโลก ดังนั้นทนายความจึงรู้ข้อจำกัดของมันจากการใช้งานจริงอยู่แล้ว
อย่างไรก็ตาม เครื่องมือแนว Kira ไม่ได้วัดประสิทธิภาพของโมเดลรุ่นใหม่ และไม่ได้ใช้เบนช์มาร์กที่โปร่งใส ในแง่นั้น ผลเบนช์มาร์กของบทความนี้จึงเป็นข้อมูลเพิ่มเติมที่น่ายินดีสำหรับการใช้ LLM
แต่เมื่อพิจารณาขอบเขตที่จำกัดจากการตรวจ เอกสาร 10 ฉบับ ด้วยเพลย์บุ๊กการตรวจฉบับเดียว ก็ไม่ถึงขั้นต้องเขียนเรื่อง “นัยต่ออุตสาหกรรม” เลย มันค่อนข้างอวดเกินจริง และแสดงให้เห็นมากกว่าว่าผู้เขียนไม่ค่อยเข้าใจอุตสาหกรรมนี้ มากกว่าจะบอกอะไรเกี่ยวกับอนาคตของอุตสาหกรรมบริการทางกฎหมาย
ถ้าอยากรู้ความสามารถและข้อจำกัด ขอแนะนำอ่านเบา ๆ แต่มีประโยชน์เหล่านี้ด้วย: https://kirasystems.com/science/, https://zuva.ai/blog/, https://www.atticusprojectai.org/cuad
อยากรู้ว่าทนายความจะสร้าง ตรรกะทางกฎหมาย แบบไหนขึ้นมาเพื่อบั่นทอนเทคโนโลยีที่คุกคามอุตสาหกรรมของตัวเอง
เหตุผลคงมีตั้งแต่ความเสี่ยงของการแก้ต่างที่ไม่มีประสิทธิภาพไปจนถึง “คิดถึงเด็ก ๆ สิ” อะไรก็ตามที่ช่วยรักษาการผูกขาดไว้ได้ก็คงถูกนำมาใช้
เมื่อดูคดีล่าสุดที่ทนายความใช้ ChatGPT ค้นคว้าและช่วยร่างคำคู่ความแล้วผลออกมาไม่ดี ผมยังไม่ถูกโน้มน้าวโดยความมองโลกในแง่ดีในคอมเมนต์เหล่านี้เสียทีเดียว
การสร้างไปป์ไลน์เล็ก ๆ แบบสร้าง→ตรวจสอบไม่ใช่เรื่องจิ๊บจ๊อย แต่ก็ไม่ใช่ว่าทำไม่ได้ คดีที่พูดถึงดูเหมือนเป็นการผสมกันระหว่าง associate ที่ขี้เกียจมากกับความเข้าใจที่แย่มากว่า LLM กำลังทำอะไรอยู่
ในทางทฤษฎี ประโยคทางกฎหมายควรถูกจัดโครงสร้างคล้ายกับโค้ด เพราะมีโครงสร้างเชิงตรรกะ จึงอาจนำ LLM ไปใช้ได้ง่ายกว่าภาษาธรรมชาติแบบอื่น
แม้ช่วงแรกจะมีข่าวว่าทนายความยื่นคำพิพากษาอ้างอิง “ปลอม” แต่ การปรับโครงสร้างวิชาชีพกฎหมาย เป็นเพียงเรื่องของเวลาเท่านั้น ในสำนักงานกฎหมายมีคนจำนวนมากที่ทำงานง่าย ๆ เช่นผู้ช่วย และ LLM ก็ทำงานเหล่านั้นได้ คนเหล่านี้ถูกมองว่าเป็นแรงงานปกขาว แต่จะหายไป
มันจะดำเนินไปคล้ายกับการเขียนโค้ด เหมือนมี junior partner เพิ่มขึ้นมาคนหนึ่งที่ต้องตรวจทาน และสามารถทำงานเอกสารมาตรฐานแทนได้
เชื่อได้ไม่เต็มร้อย แต่เราก็ไม่ได้เชื่อใจนักพัฒนาจูเนียร์เต็มร้อยเหมือนกันไม่ใช่หรือ ถึงอย่างนั้นมันก็พาเราไปได้ถึงจุด 80%
เป็นพื้นที่ปัญหาที่น่าสนใจ มีทฤษฎีกฎหมายแบบก่อกวนเชิงวัฒนธรรมอย่างหนึ่งที่อาจใช้ได้ที่นี่
สมมติว่ามีบริการว่าความด้วยตนเองราคาเดือนละ 99 ดอลลาร์ที่ทำให้สองอย่าง: 1) สอนวิธีโอนทรัพย์สินทั้งหมดไปไว้ในเครื่องมือที่ปลอดภัย 2) พร้อมกันนั้นก็ช่วยให้ป้องกันตัวเองด้วยการว่าความด้วยตนเอง เป้าหมายไม่ใช่การชนะ แต่คือทำให้ระบบอุดตัน หลังจากส่งสัญญาณให้อีกฝ่ายรู้ว่าตนอยู่ในสภาพล้มละลายทางกฎหมายแล้ว หากยื่นคำร้องไปเรื่อย ๆ และทำให้เจ็บปวดที่สุดเท่าที่ทำได้ อีกฝ่ายอาจตระหนักว่ากว่าจะถึงกระบวนการอุทธรณ์ต้องใช้เวลา 5 ปี แล้วก็ยอมแพ้ไปเอง
เป็นความจริงที่ทนายความไม่อยากมอบเอกสารกฎหมายให้บริการเทมเพลต แต่พูดตรง ๆ แค่ไปศาลแล้วรวบรวมเอกสารยื่นจำนวนมากมาฝึกโมเดลก็อาจเพียงพอแล้ว ในกลยุทธ์นั้น ไม่จำเป็นต้องมีเอกสารยอดเยี่ยมหรือทฤษฎีกฎหมายที่ดี ขอเพียงเป็นเอกสารที่ผ่านข้อกำหนดการยื่นต่อศาลก็พอ ประมาณว่า “ใช่ครับ เราจำเป็นต้องทำการบันทึกคำให้การของลูกสาวแม่บ้านคุณในอัตราชั่วโมงละ 400 ดอลลาร์ และถ้ามีปัญหา ก็เปิดนัดไต่สวนได้เลย” ถ้ามีคนทำแบบนี้มากพอ ระบบกฎหมายก็จะหยุดชะงักโดยพฤตินัย และอำนาจจะกลับคืนสู่ประชาชน
ขอรำลึกถึง Aaron Swartz ผู้ต่อสู้เพื่อประเด็นแบบนี้จนเสียชีวิต
https://www.courts.ca.gov/12272.htm
[0]https://en.wikipedia.org/wiki/Paper_terrorism
“ในการดำเนินคดีอาญาทุกคดี ผู้ถูกกล่าวหามีสิทธิได้รับความช่วยเหลือจากทนายความเพื่อการต่อสู้คดีของตน” — บทแก้ไขเพิ่มเติมรัฐธรรมนูญสหรัฐฯ ครั้งที่ 6
หาก LLM มีความสามารถมากกว่าทนายความมนุษย์โดยเฉลี่ย บทบัญญัตินี้ยังคงต้องการ ความช่วยเหลือจากทนายความมนุษย์ อยู่หรือไม่?
บางทีคุณลักษณะที่สำคัญที่สุดของทนายความอาจไม่ใช่ความรู้ทางเทคนิคก็ได้
LLM สามารถช่วยเรื่องข้อเท็จจริงและอื่น ๆ ได้ และหากถูกจัดวางอย่างถูกต้อง ก็อาจให้หลักประกันด้านความเป็นส่วนตัวที่แข็งแกร่งกว่าทนายความได้ด้วย แน่นอนว่าเรื่องแบบนั้นดูไม่น่าจะเกิดขึ้นจริง