1 ความคิดเห็น

 
GN⁺ 2024-12-26
ความเห็นจาก Hacker News
  • ดีใจที่ได้เห็นโปรเจกต์แบบนี้ หากจะขยายไปไกลกว่า arXiv ควรคำนึงว่าในการทบทวนวรรณกรรม ขอบเขต เป็นเรื่องสำคัญ
    น่าเสียดายที่สำนักพิมพ์รายใหญ่อย่าง Elsevier และ Springer กำลังกดดันให้ดัชนีอื่น ๆ อย่าง OpenAlex ลบบทคัดย่อออก ทำให้เข้าถึงได้ยากขึ้น
    สงสัยว่าได้ลองดูเครื่องมืออย่าง undermind.ai, scite.ai, elicit.org แล้วหรือยัง
    นอกจากการค้นหาแล้ว ก็น่าคิดว่า โฟลว์ผลิตภัณฑ์เฉพาะสำหรับการทบทวนวรรณกรรม ควรมีอะไรบ้าง เคยทำงานที่ scite.ai มาก่อน

    • มี PaperMatchBio(https://papermatchbio.mitanshu.tech/) สำหรับ bioRxiv และ PaperMatchMed(https://papermatchmed.mitanshu.tech/) สำหรับ medRxiv แต่ก็เห็นด้วยว่า การมีหลายไซต์แยกตามสาขาไม่ใช่แนวทางที่เหมาะ
      ยังไม่ได้สร้าง ไปป์ไลน์ซิงก์ สำหรับทั้งสองตัวนี้ ผลลัพธ์จึงอาจเก่าไปบ้าง
      การที่สำนักพิมพ์ใหญ่ ๆ ทำให้บทคัดย่อถูกลบออกน่าจะเป็นปัญหาจริงในการขยายขอบเขต
      เคยดู undermind.ai, scite.ai, elicit.org แล้ว แต่อาจยังไม่ได้ดูละเอียดพอ จะกลับไปตรวจสอบอีกครั้งและลองเพิ่มฟีเจอร์เสริม
      สงสัยว่าโฟลว์การทบทวนวรรณกรรมนอกเหนือจากการค้นหาหมายถึง ระบบจัดการบรรณานุกรม อย่าง Mendeley/Zotero หรือเปล่า
    • หน้าจอ Cloudflare challenge ที่ขึ้นมาตอนแรกนั้นเป็นปัญหาร้ายแรง
      สงสัยว่าทำไมจึงมีบทความจำนวนมากที่ไม่อยู่ใน arXiv ผู้เขียนต้องส่งเองหรือเปล่า? บทความคณิตศาสตร์ ฟิสิกส์ และวิทยาการคอมพิวเตอร์มักหาเจอบ่อย แต่บทความชีววิทยา เคมี และแพทยศาสตร์มักไม่มี
      ฐานข้อมูลที่มี ID ของบทความทั้งหมดที่มีอยู่ พร้อมระบุว่าเผยแพร่อยู่ที่ไหนและขาดจากที่ไหน ก็น่าจะมีประโยชน์พอ ๆ กัน บทความที่ได้รับเงินสาธารณะไม่ว่ามากน้อยแค่ไหนก็ไม่ควรขาดหายไป
    1. สงสัยว่าทำไมถึงใช้โมเดล mixbread
    2. สงสัยว่าประสิทธิภาพดีขึ้นแค่ไหนจากการทำ embedding ให้เป็นไบนารีและใช้ Hamming distance
    3. สงสัยว่าทำไมถึงเลือก Milvus แทน vector store อื่น
    4. การดึงเมทาดาทารายสัปดาห์ทำเป็นอัตโนมัติแล้วหรือยัง เป็นแค่ cron job หรือมีอย่างอื่นที่ต้องประสานงานด้วยหรือไม่
      ลองค้นคำว่า “transformers on byte level not token level” แล้วผลลัพธ์ก็ใช้ได้ แต่บทความที่ใหม่กว่าอย่าง https://arxiv.org/abs/2412.09871 ไม่ขึ้นมา และอาจมีหลายคนที่อยากหาอันนี้
      ถ้าเพิ่มความหนาแน่นของผลลัพธ์ได้ก็น่าจะดี เช่นมีตัวเลือก UI ให้พับบทคัดย่อ เพื่อให้เห็นผลลัพธ์มากขึ้นในหน้าจอแรก
      1. ทรัพยากรที่มีจำกัด จึงเลือก ขนาดโมเดล ที่เล็กพอจะประมวลผลคอร์ปัสได้ค่อนข้างเร็ว นอกจากนี้ยังรองรับ MRL และ binary embedding ซึ่งอาจช่วยได้เมื่อจำเป็นต้องลดขนาด VM
      2. ประมาณเกือบ 500ms ดู https://news.ycombinator.com/item?id=42507116#42509636
      3. เลือก Milvus เพราะ https://benchmark.vectorview.ai/vectordbs.html โดยสมมติว่าถ้ามีดาวเยอะ ชุมชนก็น่าจะใหญ่กว่า พบและแก้บั๊กได้เร็วกว่า และรองรับฟีเจอร์ได้ดีกว่า
      4. การดึงรายสัปดาห์ทำอัตโนมัติไว้ที่ https://huggingface.co/spaces/bluuebunny/update_arxiv_embeddings แล้ว ทรัพยากรที่ใช้ได้มีจำกัด จึงให้ HuggingFace Spaces ช่วยทำอัตโนมัติแทน
        แต่ Space หลับอยู่เรื่อย ๆ จึงวางแผนจะเรียก Space เดิมซ้ำ ๆ ผ่าน api/gradio_client เพื่อหลีกเลี่ยงปัญหานี้
        เรื่องความสดใหม่ของผลลัพธ์พูดถูก จึงตั้งใจจะเพิ่ม ตัวเลือกเรียงตามความใหม่ (Recency) ต้องหาสมดุลระหว่างความคล้ายกับวันที่เผยแพร่
        จะลองดูเรื่องการพับบทคัดย่อและการปรับปรุงความหนาแน่นของผลลัพธ์ด้วย
  • ยอดเยี่ยม ลองค้นไปสองสามคำแล้ว ผลลัพธ์เชิงความหมาย ค่อนข้างดี
    แต่ถ้าจะกลายเป็นส่วนหนึ่งของเวิร์กโฟลว์ประจำวันแทนเครื่องมืออย่าง Google Scholar ก็คงดีถ้าเห็นได้ว่าบทความนั้นผ่านการรีวิวอย่างไรและถูกอ้างอิงอย่างไร มีสิ่งอย่าง OpenReview อยู่ และตัวอย่างคือ https://openreview.net/forum?id=jhKbnNhwhc
    อีกอย่าง ถ้ามีฟีเจอร์ประมาณว่า “เล่าให้ฟังเพื่อให้ตามกลุ่มบทความนี้ทันอย่างรวดเร็ว” ก็น่าจะดี โมเดลสร้างข้อความช่วยได้ และโดยสรุปคืออยากให้เขียนย่อหน้าพร้อมการอ้างอิงแบบที่น่าจะใส่ในส่วนทบทวนวรรณกรรม/งานที่เกี่ยวข้องของบทความได้

    • ไม่รู้จัก OpenReview มาก่อน ชอบเรื่อง ความโปร่งใส มาก และจะพิจารณาอินทิเกรตอย่างแน่นอน
      ฟีดแบ็กเรื่องให้โมเดลเขียนส่วนบทนำก็เป็นคำแนะนำที่ดี ตั้งใจจะให้เสิร์ชเอนจินนี้ค่อนข้างดั้งเดิมกว่าเดิม แต่หากผลลัพธ์ดี นี่อาจเป็นทิศทางที่ควรไปต่อ
  • สมัยก่อน คือไม่กี่ปีก่อนกระแส LLM จะมา ตอนที่เคยใช้ ฐานข้อมูลเวกเตอร์ ขนาดใกล้เคียงกัน (gensim/doc2vec) การค้นหาเวกเตอร์แบบ brute force ล้วน ๆ ด้วยคำสั่งอย่าง SSE หรือ AVX ก็ทำได้
    เขียนด้วย C แล้วต่อ Python API ก็พอ หากข้อมูลมีขนาดไม่กี่ GB การ brute force บน CPU แบบเรียลไทม์ก็เป็นไปได้ และอาจได้ต่ำกว่า 200ms

    • เป็นปัญหาที่น่าสนใจ เลยเพิ่มไว้ใน TODO list แล้ว
  • เป็นโปรเจกต์ที่ยอดเยี่ยม
    เมื่อไม่นานมานี้ผมทำฐานข้อมูล embedding จากชุดข้อมูล arXiv ไว้: https://huggingface.co/NeuML/txtai-arxiv
    ถ้าสนใจด้านการค้นหาวรรณกรรม ก็มีโปรเจกต์ที่เกี่ยวข้องอยู่หลายตัว
    annotateai(https://github.com/neuml/annotateai) ใช้ LLM ใส่คำอธิบายประกอบให้บทความวิจัย และรองรับการค้นหาฐานข้อมูล arXiv ข้างต้น
    paperai(https://github.com/neuml/paperai) ให้บริการ semantic search และ workflow สำหรับบทความการแพทย์และวิทยาศาสตร์ โดยอิงบน txtai(https://github.com/neuml/txtai)
    paperetl(https://github.com/neuml/paperetl) เป็นกระบวนการ ETL สำหรับบทความการแพทย์และวิทยาศาสตร์ และรองรับเอกสาร PDF ทั้งฉบับ

    • ดูเป็นโปรเจกต์ที่ดีมาก ๆ จะต้องลองไปดูแน่นอน
    • paperetl เจ๋งดี บันทึกไว้ดูทีหลังแล้ว เมื่อก่อนเคยทำอะไรคล้าย ๆ กันในบริษัทด้วย grobid ซึ่งเป็นโปรเจกต์ยอดเยี่ยมที่ patrice ทำไว้
  • เผื่อเป็นข้อมูล txtai เพิ่งเปิด arXiv embeddings เมื่อ 8 วันที่แล้ว
    https://huggingface.co/NeuML/txtai-arxiv

    • ใช่แล้ว
  • ทุกครั้งที่มีการใช้ semantic search ผมอยากเห็นว่ามันมีข้อดีอะไรเหนือกว่าการค้นหาข้อความ
    อยากรู้ว่ามี benchmark สำหรับตรวจสอบไหมว่าการค้นหาดีขึ้นจริงหรือเปล่า ในเชิงความรู้สึก มันทำให้ค้นพบบทความใหม่ ๆ ได้ดีขึ้นไหม และมีประโยชน์กว่าในบางสาขาหรือไม่

    • ข้อดีทั้งหมดขึ้นอยู่กับความสามารถของ embedding model semantic embeddings เข้าใจนัยความหมาย จึงสามารถหา abstract ที่ตรงกันในเชิงแนวคิดได้แม้ไม่มีคีย์เวิร์ดตรงกันเป๊ะ ๆ
      ตัวอย่างเช่น “neural networks” กับ “deep learning” อาจและควรดึงบทความที่คล้ายกันมาได้
      ในเชิงความรู้สึก ผมคิดว่าใช่ ผมแชร์ให้เพื่อนร่วมงาน แล้วพวกเขาบอกว่ามันช่วยหา author และบทความใหม่ ๆ ในสาขานั้นระหว่างเตรียมต้นฉบับ
      ส่วนเรื่องว่ามีประโยชน์กว่าในบางสาขาหรือไม่ ผมคิดว่าตัวเองไม่มีความสามารถพอจะตอบได้
    • ปัจจัยหนึ่งคือผู้ใช้เขียน query อย่างไร ผู้คนคุ้นเคยกับ full-text search อยู่พอสมควร แต่ semantic search จะโดดเด่นเมื่อถามคำถามตามตัวอักษรที่คำตอบกับคำศัพท์อาจไม่ตรงกัน
  • สงสัยว่ามีโดเมนดี ๆ อื่น ๆ อะไรบ้างที่ semantic search น่าจะมีประโยชน์ ผมอยากลองทำเว็บแอปแบบนี้มานานแล้ว
    ไอเดียที่นึกออกตอนนี้คือการค้นหาโฆษณาออนไลน์สำหรับนักการตลาด คือ embed และ index โฆษณาวิดีโอ/รูปภาพ เพื่อให้ค้นหาแรงบันดาลใจทางการตลาดด้วยภาษาธรรมชาติได้
    อีกอย่างคือการค้นหาสินค้าช้อปปิ้งที่ครอบคลุมหลายแพลตฟอร์มอีคอมเมิร์ซ เช่น Sephora, Zara, H&M
    แต่ก็ไม่แน่ใจว่าสองอย่างนี้ดีพอจะเป็น ปัญหาธุรกิจ ที่ควรแก้หรือไม่

      1. การค้นหาเอกสารภายในอย่างรวดเร็ว แทบทุกบริษัทต้องการ การไล่ดูโครงสร้างลำดับชั้นแบบ file system นั้นช้า มีข้อจำกัด และเป็นวิธีแบบเก่า
      2. การค้นหาโค้ดอย่างรวดเร็วที่หา section ที่เกี่ยวข้องได้ แม้ comment จะใช้ถ้อยคำต่างกัน
    • อยากให้หยุดทำให้ ad tech ดีขึ้นได้แล้ว คนอื่นอาจจะทำก็ได้ แต่คุณไม่จำเป็นต้องทำ
  • สงสัยว่าคล้ายกับ https://www.semanticscholar.org ของ Allen Institute for AI หรือเปล่า

    • ผมว่ามันใกล้กับเว็บนี้มากกว่า https://arxivxplorer.com/
    • คล้ายกับที่ triilman คอมเมนต์มากกว่า แต่ทุกองค์ประกอบเป็น open source มีแผนจะเพิ่มการรองรับ filter และ keyword เร็ว ๆ นี้ ที่จริงตอนนี้กำลังรอ Milvus อยู่
  • ไอเดียเจ๋งมาก
    ขอ feedback: ผมลองค้นหา “wave function collapse algorithm”, “gumin wave function collapse”, “wfc”, “model synthesis” แต่ไม่เจอผลลัพธ์ที่เกี่ยวข้องกับสาขาวิจัยที่สนใจ กลับมีบทความควอนตัมคอมพิวติ้งกับบทความฟิสิกส์อื่น ๆ ออกมาเยอะ
    WFC algorithm อาจเป็นตัวอย่างที่ไม่ดีสำหรับการค้นหาแบบนี้ เพราะคำนี้ใช้ซ้ำซ้อนกันและไม่เกี่ยวอะไรกับกลศาสตร์ควอนตัม ส่วน Model synthesis ก็ทั่วไปเกินไป จึงอาจเป็นตัวอย่างที่ไม่ดีเช่นกัน
    หน้าแรกของการค้นหา “wave function collapse algorithm” ใน arXiv เองแสดงผลลัพธ์ที่เกี่ยวข้อง

    • arXiv เป็น keyword-based search engine จึงค้นหาคำในข้อความแบบตรงตัว PaperMatch พยายามหาบทความที่คล้ายกันและใกล้เคียงกว่าในเชิงความหมาย
      อีกวิธีหนึ่งคือเลือกบทความที่คุณชอบมาหนึ่งบทความ แล้วคัดลอก abstract หรือ arXiv ID จาก arXiv ไปวางใน PaperMatch น่าจะช่วยหา paper ที่คล้ายกันได้