กลับไปใช้โน้ตลายมือด้วยการเรียนรู้การอ่านและการเขียน
(research.google)- InkSight จาก Google Research เป็นแนวทางที่กู้คืนภาพถ่ายลายมือให้เป็น หมึกดิจิทัล ในระดับจังหวะปากกา เพื่อให้สามารถบันทึกและแก้ไขโน้ตกระดาษได้เหมือนโน้ตดิจิทัลโดยไม่ต้องใช้อุปกรณ์พิเศษ
- ต่างจาก OCR ทั่วไปที่หยุดอยู่แค่การถอดข้อความ InkSight กู้คืน เส้นทางของจังหวะ ที่สร้างตัวอักษรขึ้นมา ทำให้สามารถตรวจดูและเขียนต่อได้โดยยังคงสไตล์ลายมือไว้
- โมเดลไม่ได้สกัดเฉพาะคุณลักษณะเชิงเรขาคณิต แต่เรียนรู้ทั้ง การอ่านและการเขียน ร่วมกัน โดยใช้ ViT encoder และ mT5 encoder-decoder เพื่อจัดการการรู้จำคำและการสร้างจังหวะปากกา
- สำหรับทั้งหน้า ระบบใช้ขั้นตอนที่ OCR หา bounding box ระดับคำ แยก derender แต่ละคำ แล้วแทนที่ตัวอักษรแบบพิกเซลด้วยจังหวะที่กู้คืนมา
- ในการประเมิน ผลลัพธ์จาก Large-i ที่มีพารามิเตอร์ราว 1 พันล้านตัว ได้รับการประเมินในหลายกรณีว่าใกล้เคียงกับหมึกดิจิทัลที่มนุษย์สร้างขึ้น และ 87% ถูกระบุว่าเป็นการตามรอยที่ดีหรือมีข้อผิดพลาดเพียงเล็กน้อย
เหตุผลที่ต้องการเปลี่ยนลายมือบนกระดาษเป็นหมึกดิจิทัล
- โน้ตดิจิทัลให้ความคงทน แก้ไขได้ และค้นทำดัชนีได้ แต่คนจำนวนมากยังคงจดโน้ตด้วย กระดาษและปากกา
- กระบวนการเปลี่ยนลายมือทางกายภาพให้เป็นรูปแบบดิจิทัลคือ derendering และผลลัพธ์คือจังหวะปากกาที่บันทึกการเคลื่อนไหวของปากกาหรือนิ้วเป็นลำดับของจุด
- การแทนรูปแบบนี้เรียกอีกอย่างว่า การแทนลายมือแบบ “ออนไลน์” หรือ หมึกดิจิทัล
- OCR ทั่วไปถอดลายมือเป็นเอกสารข้อความ แต่หมึกดิจิทัลจับเอกสารลายมือเป็นชุดของจังหวะ
- ผู้ใช้สามารถแก้ไขด้วยมือได้เป็นธรรมชาติมากขึ้น
- สามารถคงสไตล์ตัวอักษรและความรู้สึกของลายมือจริงไว้ได้
- สามารถจัดระเบียบและผสานโน้ตเข้ากับรูปภาพ ข้อความ ลิงก์ และฟังก์ชันช่วยเหลือดิจิทัลได้
- ก่อนหน้านี้มีวิธีที่ใช้ smart pen กระดาษพิเศษ และชุดซอฟต์แวร์เฉพาะ แต่ฮาร์ดแวร์เพิ่มเติมและค่าใช้จ่ายกลายเป็นอุปสรรคต่อการเริ่มใช้งาน
สิ่งที่ InkSight กู้คืน
- InkSight: Offline-to-Online Handwriting Conversion by Learning to Read and Write สกัด จังหวะปากกา ที่สร้างตัวอักษรจากภาพถ่ายโน้ตลายมือ
- ใช้เพียงภาพถ่ายเป็นอินพุตโดยไม่ต้องมีอุปกรณ์แยกต่างหาก และสามารถดูโมเดลกับโค้ดสำหรับ inference ได้ที่ GitHub repo
- ไม่พึ่งพา องค์ประกอบเชิงเรขาคณิต แบบทั่วไป เช่น gradient, contour และรูปทรงของภาพ
- โมเดลเรียนรู้ความสามารถสองอย่างร่วมกัน
- การอ่าน: รู้จำคำในภาพ
- การเขียน: ส่งออกจังหวะที่ดูเหมือนลายมือ
- การผสมผสานนี้ออกแบบมาให้ทำงานได้แข็งแรงขึ้นแม้กับอินพุตที่ยาก เช่น สภาพแสง การบดบัง และรูปลักษณ์ที่หลากหลาย
โฟลว์ของระบบสำหรับการประมวลผลระดับหน้า
- เป้าหมายพื้นฐานคือการจับ เส้นทางระดับจังหวะ ของลายมือ เพื่อให้ผู้ใช้บันทึกลงในแอปโน้ตที่ต้องการได้
- ภายในระบบ โมเดล OCR สำเร็จรูปจะระบุคำที่เขียนด้วยมือ จากนั้นโมเดลจะแปลงคำนั้นเป็นจังหวะปากกา
- เพื่อความทำซ้ำได้ การนำกลับมาใช้ใหม่ได้ และความง่ายในการนำไปใช้ ระบบผสาน ViT encoder และ mT5 encoder-decoder ที่ใช้กันอย่างแพร่หลาย
- เนื่องจากต้องจัดการภาพขนาดใดก็ได้ ความละเอียดหลากหลาย และปริมาณเนื้อหาที่แตกต่างกัน ความสามารถในการขยายขนาด จึงเป็นความท้าทายหลัก
- หากฝึกโดยตรงกับอินพุตความละเอียดสูงมากและลำดับเอาต์พุตยาว ต้นทุนการคำนวณจะสูง จึงแบ่งการ derender ระดับหน้าออกเป็นสามขั้นตอน
- สกัด bounding box ระดับคำด้วย OCR
- derender แต่ละคำแยกกัน
- แทนที่การแทนแบบพิกเซลออฟไลน์ด้วยจังหวะที่ผ่าน derender แล้ว
- ใช้ data augmentation เพื่อลดช่องว่างของโดเมนระหว่างภาพสังเคราะห์ของหมึกที่เรนเดอร์กับภาพถ่ายจริง
- สุ่มมุมหมึก สี และความกว้างของเส้น
- เพิ่ม Gaussian noise และพื้นหลังที่ซับซ้อน
วิธีเรียนรู้การอ่านและการเขียนร่วมกัน
- การรวบรวมคู่ภาพสำหรับ supervised learning กับหมึกดิจิทัลคำตอบที่ถูกต้องให้เพียงพอนั้นแพงและใช้เวลานาน และเข้าใจกันว่ายังไม่มีชุดข้อมูลที่หลากหลายพอสำหรับงานนี้
- InkSight ใช้โครงแบบ multi-task learning เพื่อให้ generalize ได้โดยไม่ต้องมีตัวอย่างที่จับคู่กันจำนวนมาก
- ชุดฝึกผสมประกอบด้วยงาน 5 ประเภท
- งาน derendering ที่สร้างหมึกดิจิทัลจากภาพ
- งาน derendering ที่รับภาพและข้อความที่ OCR รู้จำได้เป็นอินพุตร่วมกัน แล้วสร้างหมึกดิจิทัล
- งานรู้จำที่ส่งออกข้อความจากภาพจริง
- งานรู้จำที่ส่งออกข้อความจากภาพสังเคราะห์
- งานผสมระหว่างการรู้จำและ derendering ที่ส่งออกทั้งข้อความและหมึก
- แต่ละงานใช้ข้อความอินพุตเฉพาะงาน เพื่อให้โมเดลแยกแยะงานได้ระหว่างการฝึกและ inference
- การเรียนรู้การอ่านช่วยระบุตำแหน่งและสกัดองค์ประกอบข้อความในภาพได้แม่นยำขึ้น
- การเรียนรู้การเขียนช่วยให้การแทนเวกเตอร์ที่ส่งออกเป็นไปตาม พลวัตทางกายภาพ และลำดับจังหวะที่ใกล้เคียงวิธีเขียนของมนุษย์
การแทนหมึกดิจิทัลและการทำ tokenization
- การฝึกใช้คู่ของภาพข้อความกับ หมึกดิจิทัล ที่สอดคล้องกัน
- หมึกดิจิทัลถูกสุ่มตัวอย่างจากเส้นทางลายมือแบบเรียลไทม์ แล้วแทนเป็นลำดับจังหวะ
- แต่ละจังหวะคือลำดับของจุดที่สุ่มตัวอย่างด้วยความเร็วคงที่
- ตัวอย่างคือสุ่มตัวอย่าง 50 จุดต่อวินาที
- ภาพที่สอดคล้องกันถูกสร้างโดยเรนเดอร์หมึกเป็น bitmap ตามความละเอียดที่กำหนด
- กระบวนการนี้สร้าง การจับคู่พิกเซล-จังหวะ ซึ่งเป็นสมมติฐานของคู่อินพุต-เอาต์พุตของโมเดล
- ink tokenizer เปลี่ยนจุดให้อยู่ในรูปแบบที่เหมาะกับ LLM
- แต่ละจุดถูกแปลงเป็นโทเค็นสองตัวที่เข้ารหัสพิกัด x และพิกัด y แยกกัน
- ลำดับโทเค็นหมึกเริ่มด้วย
bซึ่งบ่งบอกจุดเริ่มต้นของจังหวะ - จากนั้นตามด้วยโทเค็นพิกัดของจุดที่สุ่มตัวอย่าง
ข้อมูลประเมินและโมเดลเปรียบเทียบ
- มีการรวบรวมชุดข้อมูลประเมินแยกต่างหากเพื่อวัดประสิทธิภาพ
- ข้อมูลประเมินเริ่มจากข้อมูล OCR แล้วเพิ่มคู่ การตามรอยที่มนุษย์สร้างขึ้น ซึ่งให้คนวาดตามภาพข้อความที่นำเสนอโดยตรง
- ฝึกโมเดล 3 รูปแบบ
- Small-p: พารามิเตอร์ประมาณ 340 ล้านตัว, การตั้งค่า public
- Small-i: การตั้งค่า in-house
- Large-i: พารามิเตอร์ประมาณ 1 พันล้านตัว
- ใช้ baseline General Virtual Sketching เป็นเกณฑ์เปรียบเทียบ
- ทั้งในการประเมินอัตโนมัติและการประเมินโดยมนุษย์ การแทนแบบเวกเตอร์ที่ระบบสร้างขึ้นมีความคล้ายกับภาพอินพุตทั้งในเชิงความหมายและเรขาคณิต และยังคล้ายกับข้อมูลหมึกดิจิทัลที่มนุษย์สร้างขึ้นด้วย
ความแตกต่างที่เห็นในการประเมินเชิงคุณภาพ
- เปรียบเทียบโมเดลกับ GVS บนชุดข้อมูลประเมินสาธารณะ IAM, IMGUR5K และชุดข้อมูลสเก็ตช์นอกโดเมน
- โมเดล InkSight โดยทั่วไปสะท้อนเนื้อหาข้อความได้แม่นยำ และละเลยพื้นหลังที่ไม่เกี่ยวข้องกับความหมาย
- สามารถจัดการอินพุตที่มีการบดบังได้ด้วย แสดงให้เห็นข้อดีของ ความรู้ก่อนหน้าเรื่องการอ่าน ที่เรียนรู้มา
- GVS สร้างจังหวะซ้ำหลายเส้น และแสดงให้เห็นความยากลำบากในการแยกพื้นหลังกับ foreground
- Large-i รักษารายละเอียดได้มากกว่าและรองรับสไตล์ภาพที่หลากหลายกว่า
- สำหรับสเก็ตช์นอกโดเมน โมเดลส่วนใหญ่ derender สเก็ตช์ง่าย ๆ ได้ แต่ artifact เช่น จังหวะที่ไม่จำเป็นหรือคลาดเคลื่อนยังคงปรากฏอยู่
การประเมินโดยมนุษย์และข้อจำกัด
- ในสาขางานนี้ ปัจจุบันยังไม่มี metric หรือ benchmark ที่เป็นที่ยอมรับสำหรับการประเมินเชิงปริมาณ
- ในการประเมินโดยมนุษย์ ใช้ข้อมูลการตามรอยของมนุษย์จาก HierText dataset เป็นกลุ่มควบคุม และใช้ผลลัพธ์ของโมเดลสำหรับตัวอย่างเดียวกันเป็นกลุ่มทดลอง
- ผู้ประเมินดูภาพต้นฉบับพร้อมกับตัวอย่างหมึกดิจิทัลที่เรนเดอร์แล้ว และตอบคำถามสองข้อ
- ประเมินว่าเอาต์พุตเป็นการตามรอยภาพอินพุตที่สมเหตุสมผลหรือไม่
- ประเมินว่าหมึกดิจิทัลนี้ดูเหมือนมนุษย์สร้างขึ้นได้หรือไม่
- การประเมินมีผู้เข้าร่วม 16 คนที่คุ้นเคยกับหมึกดิจิทัลแต่ไม่ได้มีส่วนร่วมในงานวิจัย
- แต่ละตัวอย่างมีผู้ประเมิน 3 คน
- ผลลัพธ์ถูกรวมด้วยเสียงข้างมาก
- หมึก derendering ส่วนใหญ่ที่สร้างโดย Large-i ได้รับการประเมินว่าอยู่ในระดับใกล้เคียงกับที่มนุษย์สร้างขึ้น
- 87% ของเอาต์พุตจาก Large-i ถูกระบุว่าเป็นการตามรอยที่ดีหรือมีข้อผิดพลาดเพียงเล็กน้อย
- ในตัวอย่างเปรียบเทียบ โมเดลทั้งหมดจัดการเครื่องหมายอัญประกาศคู่ในตัวอย่างแถวบนผิด และในตัวอย่างแถวล่างมีกรณีที่การตามรอยของมนุษย์มุ่งเฉพาะคำหลักจนพลาดองค์ประกอบอื่นส่วนใหญ่
- การตามรอยของมนุษย์เองก็ไม่ได้จัดแนวกับภาพพื้นฐานอย่างสมบูรณ์ แสดงว่างานตามรอยส่วนลายมือของ HierText นั้นซับซ้อนและยากในตัวเอง
สรุป
- InkSight เป็น แนวทางประเภทแรก ในการแปลงภาพถ่ายลายมือเป็นหมึกดิจิทัล
- โครงแบบการฝึกถูกออกแบบให้ทำงานได้โดยไม่มีข้อมูลฝึกที่จับคู่กัน
- ทำงานได้แข็งแรงกับอินพุตหลากหลาย สามารถนำไปใช้กับโน้ตลายมือทั้งหน้าได้ และ generalize ไปยังสเก็ตช์นอกโดเมนได้ในระดับหนึ่ง
- เป็นแนวทางที่สร้างได้ด้วยองค์ประกอบมาตรฐานโดยไม่ต้องใช้การโมเดลที่ซับซ้อน
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ผมซื้อ ไวต์บอร์ดติดตู้เย็น อันเล็กมา แล้วพอใช้ร่วมกับฟีเจอร์ของ iPhone ที่ถ่ายรูปลายมือแล้วคัดลอกเป็นข้อความได้ ก็ออกมาค่อนข้างยอดเยี่ยม
มันไม่ได้สมบูรณ์แบบเสมอไป และลายมือผมก็ไม่ได้สมบูรณ์แบบเหมือนกัน แต่ก็พอสำหรับแก้แค่หนึ่งหรือสองตัวอักษรแล้วส่งต่อ
มันมีประสิทธิภาพเพราะไม่ต้องส่งรูปทั้งภาพ ไม่ต้องพิมพ์หรือปัดหน้าจอ ไม่ต้องมองหน้าจอก็ได้ คู่สมรสก็ดูรายการได้ตลอดเวลา และไม่ต้องอัปขึ้นคลาวด์
ไม่ต้องใช้ไฟ ปากกามาร์กเกอร์ก็ใช้ได้นาน และเมื่อของในตู้เย็นหมด การหยิบมาร์กเกอร์ขึ้นมาเขียนบนตู้เย็นทันทีเป็นเวิร์กโฟลว์ที่รู้สึกเป็นธรรมชาติมาก
เจ๋งมาก มีการประยุกต์ใช้เทคโนโลยีแบบนี้ที่น่าสนใจอยู่ ลายมือของผมค่อนข้างแย่ และยิ่งแย่ลงเมื่อเขียนเร็ว
เวลาเขียนบนกระดานตอนสอน ลายมือมักแย่กว่าที่อยากให้เป็นมาก
ดูเหมือนจะฝึกระบบแบบนี้ด้วยลายมือที่ผมเขียนช้ามากและประณีต แล้วให้มันแปลงลายมือแย่ ๆ ที่เขียนเร็วบนไวต์บอร์ดระหว่างสอนให้เป็นลายมือของผมที่ดูเรียบร้อยขึ้นได้
ฟีดแบ็กต่างจากปากกาลูกลื่นโดยสิ้นเชิง และยังขึ้นกับชนิดของกระดาษกับหมึกด้วย การเขียนจะ “คาดเดาได้” น้อยลง และสนุกขึ้นเล็กน้อย
เริ่มจากปากกาหัวขนาดกลางราคาถูกสัก 5–15 ดอลลาร์ก็ได้ บางคนอาจไปต่อจนสะสมปากกาหมึกซึม แต่ผมเขียนบนกระดาษส่วนใหญ่ด้วย Pelikan Jazz ราคาประมาณ 20 ดอลลาร์
ตอนแรกจะช้าลง แต่ไม่นานนัก
เป็นหนึ่งในคำแนะนำที่ “เปลี่ยนเกม” ที่ผมได้รับตอนทำงานเป็นติวเตอร์ในมหาวิทยาลัย อีกข้อคือให้คัดลอกหนังสือจากหลังไปหน้าเสมอ ซึ่งมีประโยชน์มาก แต่ตอนนี้เป็นวิธีที่ค่อนข้างล้าสมัยแล้ว
โดยเฉพาะถ้ารวมเสียงอธิบายสมการเข้ากับ LaTeX ก็จะช่วยแก้ข้อผิดพลาดได้ด้วย
ดูแค่ชื่อเรื่อง ผมคิดแบบซื่อ ๆ ว่านี่เป็นบทความเกี่ยวกับวิธีกู้ทักษะที่หายไปกลับมา เพื่อกลับไปเขียน โน้ตลายมือ ที่อ่านง่ายและสวยงามอีกครั้ง
นี่เป็นปัญหาที่ผมกำลังเจออยู่ หลังจากพิมพ์มากเกินไปและเขียนด้วยมือน้อยลงมาหลายปี
งานวิจัยจริงของ Google ก็ช่วยได้ เพราะทำให้โน้ตของผมในรูปดิจิทัลดูเละน้อยลง แต่ผมไม่อยากพึ่งนวัตกรรมทางเทคโนโลยีเพื่อทำให้ลายมือดีขึ้น
บางคนแจกฟรีหรือขายกระดาษแบบฝึกที่มีเส้นพิเศษเพื่อช่วยให้ความสูงต่าง ๆ ตรงกัน หรือช่วยให้ได้ความเอียงที่สมบูรณ์แบบ
เหมือนตอนหัดเขียนครั้งแรก ต้องให้เวลา ใส่ใจ และลงมือทำเอง
ลายมือผมดีขึ้นมากเมื่อใช้ปากกาหมึกซึม เทียบกับปากกาลูกลื่นหรือปากกาเจล คงเพราะปากกาหมึกซึมบังคับตำแหน่งและมุมที่เหมาะสม มันเข้มงวดกว่าเพราะไม่ใช่ของที่กดลงกระดาษจากมุมไหนก็เขียนติด และยังให้สัมผัสกับฟีดแบ็กที่นุ่มนวลกว่า
ไม่ต้องไปสุดทางก็ได้ ปกติ Pilot Metro หัวขนาดกลางราคาประมาณ 20 ยูโร หรือรุ่นใกล้เคียงก็พอแล้ว
จากตรงนั้นก็พัฒนาสไตล์ของตัวเองต่อได้ง่าย
ปากกาหมึกซึมช่วยให้ผมช้าลง แต่โดยพื้นฐานแล้วมันเป็นเรื่องของการเขียนให้ช้าพอ พร้อมตั้งใจสร้างตัวอักษรให้ดูดี และพอทำได้ง่ายขึ้น ความเร็วก็เพิ่มขึ้นด้วย ถึงอย่างนั้นนิสัยในการใส่ใจมากพอเพื่อสร้างตัวอักษรสวย ๆ ก็ยังคงอยู่
สิ่งสำคัญกว่าการฝึกอย่างตั้งใจแบบใช้กระดาษแบบฝึกหรือแบบฝึกหัด คือการเขียนให้ช้าพอที่จะสร้างตัวอักษรได้ถูกต้อง จนกว่าความจำของกล้ามเนื้อจะสะสมและความเร็วกลับมา
https://handwritingrepair.info/
หรืออันต่อไปนี้ก็น่าดู
https://sites.google.com/view/briem/free-books
The First Writing Book: Arrighi's Operina อันงดงามของ John Howard Benson หรือ An Italic Calligraphy Handbook อันยอดเยี่ยมของ Carolyn Knudsen ก็ดีเช่นกัน ชื่อหนังสืออาจถ่อมตัว แต่เนื้อหาดีกว่านั้นมาก และใช้คู่กับมาร์กเกอร์หัวตัดหรือปากกาหมึกซึมได้
เมื่อ 10 ปีก่อนเคยลองใช้ Tesseract กับ OCR ซึ่งจดจำภาษาอังกฤษได้ดีพอสมควร ถ้าจำไม่ผิด Tesseract ก็พัฒนาโดย Google และเป็นโอเพนซอร์ส
ตอนนั้นลองใช้กับภาษาที่ไม่ใช่อังกฤษ คือภาษากรีก แต่ผลลัพธ์แย่มาก
ดีใจที่ได้เห็นงานวิจัย OCR ดี ๆ ที่ใช้ Transformer
ทำ OCR กับสารบัญด้วย และลองปรับการตั้งค่าการแบ่งหน้าจากเทอร์มินัลจนได้ผลลัพธ์ที่คัดลอก-วางได้ จากนั้นจึงเพิ่มสารบัญที่นำทางได้
1: ได้ความช่วยเหลือจาก https://github.com/ocrmypdf/OCRmyPDF
2: https://tesseract-ocr.github.io/tessdoc/Command-Line-Usage.html, “ Using different Page Segmentation Modes”
ถึงอย่างนั้นข้อดีก็คือใช้ฟรี
อยากรู้ว่าระดับล้ำหน้าสุดในปัจจุบันของการ ตรวจจับลายมือ จากภาพถ่ายเป็นอย่างไร
การติดตามเส้นปากกาก็ดี แต่ผมสนใจการแปลงโน้ตที่เขียนด้วยมือของตัวเองเป็น Markdown มากกว่า
แต่ความแม่นยำน่าจะอยู่ราว 90~95% ดังนั้นควรตรวจผลลัพธ์ก่อนเชื่อถือ
เป็นการทดลองที่น่าสนใจมาก ผมกำลังทำแอปพลิเคชันสำหรับการเขียนด้วยลายมือมาหลายปีแล้ว ถ้าใส่ฟีเจอร์ถ่ายรูปแล้วแปลงเป็น หมึกดิจิทัล ได้คงยอดเยี่ยมมาก
[0] https://scrivanolabs.github.io
อ่านลายมือหวัด ๆ ของแพทย์ได้ไหม? ถ้าทำได้ น่าจะเป็นความก้าวหน้าครั้งใหญ่ในด้าน การป้อนข้อมูลทางการแพทย์
ต้องระวังอย่างมากกับการเพิ่มชั้นการตีความอีกชั้นระหว่างแพทย์กับพยาบาลผู้ให้การรักษา
น่าเสียดายที่โรงเรียนแพทย์ไม่สอนตัวบล็อกแบบที่เคยสอนช่างเขียนแบบในอดีต
ตอนที่ Apple Notes แก้ลายมือของผมให้เป็น ลายมือของผมเอง นั่นเป็นช่วงเวลาที่น่ากลัว
ยังตั้งตารอ สภาพแวดล้อมการเขียนโปรแกรม ที่ใช้การป้อนข้อมูลด้วยปากกาบนแท็บเล็ตได้อยู่ หวังว่าจะไม่บังคับให้ต้องพกคีย์บอร์ด Bluetooth ไปด้วย
น่าเสียดายที่คนส่วนใหญ่น่าจะไม่ยอมจ่ายเงิน เลยดูเหมือนไม่มีใครสนใจในฐานะโอกาสทางธุรกิจ
ผมก็ชอบทำงานด้วยกระดาษกับปากกาเหมือนกัน แต่เหมาะกับการคิดไอเดีย วาดไดอะแกรม และทำรายการสิ่งที่ต้องทำ มากกว่าการป้อนข้อมูลแบบมีโครงสร้าง
ผมคิดว่าโมเดลที่แปลงลายมือ “ออฟไลน์” หรือหมึกบนกระดาษ ให้เป็นรูปแบบ “ออนไลน์” อย่างลำดับและจังหวะเวลาของเส้นปากกา น่าจะมีประโยชน์มากต่อไปป์ไลน์ การรู้จำลายมือในเอกสารประวัติศาสตร์
แต่ท้ายที่สุดก็ยังต้องมีวิธีแบบบูรณาการตั้งแต่ต้นจนจบ
ไม่เข้าใจว่าทำไมการรู้จำลายมือในเอกสารประวัติศาสตร์ถึงถูกมองข้ามมากขนาดนี้ในเบนช์มาร์กประเมินโมเดลมัลติทาสก์ทั้งหมด มีเอกสารประวัติศาสตร์ที่เขียนด้วยลายมือและยังไม่ได้ทำดัชนีอยู่หลายล้านรายการ ซึ่งสิ่งเหล่านี้อาจช่วยให้เราเข้าใจอดีตอันใกล้ได้ดีขึ้นมาก
ยิ่งไปกว่านั้น ยังช่วยให้โมเดลเข้าใจอดีตอันใกล้ได้ดียิ่งขึ้นด้วย