NotebookLlama - เวอร์ชันโอเพนซอร์สของ Google NotebookLM
(github.com/meta-llama)- หน้า GitHub เดิมของเรซิปี NotebookLlama ไม่ใช่เอกสารการใช้งาน แต่เป็นหน้าแจ้งว่าได้ย้ายไปยังตำแหน่งใหม่
- ตำแหน่งใหม่ลิงก์ไปยังเอกสาร Building a Notebook Llama: A Step-by-Step Guide
- ในเนื้อหาของพาธเดิมมีการแจ้ง การย้ายตำแหน่ง ซ้ำกัน จึงต้องไปดูเนื้อหาจริงในเอกสารใหม่
- หาก บุ๊กมาร์กและสคริปต์ เดิมอ้างอิงพาธ GitHub นี้ ควรอัปเดตเป็น URL ใหม่
- หน้าปัจจุบันไม่มี วิธีใช้ NotebookLlama เช่น วิธีติดตั้ง โครงสร้างโค้ด หรือขั้นตอนการรัน
ตำแหน่งใหม่ของเรซิปี NotebookLlama
- เรซิปี NotebookLlama ถูกย้ายจากไดเรกทอรี GitHub เดิมไปยังตำแหน่งใหม่
- ชื่อเอกสารใหม่คือ Building a Notebook Llama: A Step-by-Step Guide
กรณียังใช้พาธเดิม
- หาก บุ๊กมาร์ก หรือ สคริปต์ เดิมชี้ไปที่หน้า GitHub นี้ ควรเปลี่ยนเป็น URL ของเอกสารใหม่
- ปัจจุบันในเนื้อหาของหน้า GitHub มีเพียงข้อความแจ้งการย้ายและคำขอบคุณที่แสดงซ้ำ
สิ่งที่ไม่มีในหน้าปัจจุบัน
- หน้านี้ไม่มีวิธีติดตั้งของ NotebookLlama, โครงสร้างโค้ด, ขั้นตอนการรัน หรือคำอธิบายฟังก์ชัน
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ยิ่งฟัง “เอพิโสด” ของ NotebookLM มากเท่าไร ก็ยิ่งมั่นใจว่า Google น่าจะฝึก โมเดลบทสนทนาระหว่างผู้พูด 2 คน ให้สร้างพอดแคสต์ได้โดยตรงบน โมเดลมัลติโหมดัล ที่มีอยู่เดิม
วิธีที่ผู้พูดทั้งสองแทรกกันและพูดทับกันฟังดูเป็นมนุษย์จนน่าขนลุก
ยังเป็นไปได้ด้วยว่าพวกเขามีทั้งพอดแคสต์จริงและบทถอดเสียงจำนวนมหาศาล แล้วสร้าง “ข้อมูลนำเข้า” แบบสังเคราะห์จากบทถอดเสียงเพื่อใส่เป็นตัวอย่างฝึก
ตัวอย่างเช่น อาจนำเอพิโสดหนึ่งของ The Daily มา แล้วให้ language model ตัวหนึ่งเขียนบทความสมมติที่สรุปเนื้อหาพอดแคสต์นั้น จากนั้นป้อนบทความนั้นเข้าโมเดลผู้พูด 2 คน แล้วถอดเสียงออดิโอที่ได้ออกมาเพื่อดูว่าตรงกับบทความนำเข้ามากแค่ไหน
ผมอาจพลาดรายละเอียดสำคัญบางอย่างไป แต่คิดว่าความเป็นธรรมชาติของพอดแคสต์นี้ไม่น่าจะเกิดจากบทถอดเสียงแบบข้อความล้วนได้
https://google-research.github.io/seanet/soundstorm/examples...
มีพอดแคสต์แรกที่สัมภาษณ์วิศวกรผู้เป็นผู้นำโมเดลออดิโอ: https://www.latent.space/p/notebooklm
สรุปคือมีการยืนยันว่า สคริปต์กับออดิโอถูกสร้างแยกกัน แต่โมเดล TTS ถูกฝึกมาล้ำหน้ากว่าสิ่งที่เข้าถึงได้ทั้งแบบโอเพนซอร์สหรือเชิงพาณิชย์มาก
บางครั้งพิธีกร A กำลังพูดอยู่ แล้วจู่ ๆ พิธีกร B ก็พูดปิดประโยคนั้นไปเลย
ปกติจังหวะแบบนี้ A มักกำลังอธิบายอะไรให้ B ฟังหรือกำลังตอบคำถามอยู่ จึงไม่ค่อยสมเหตุสมผลในเชิงบริบท ไม่แน่ใจว่าจะตีความอย่างไร แต่เป็นปรากฏการณ์ที่น่าสนใจ
อันนี้จริง ๆ แล้วค่อนข้างชัดเจนว่า ไม่ใช่โอเพนซอร์ส: https://github.com/meta-llama/llama-recipes/blob/d83d0ae7f5c...
แถมยังไม่มีไฟล์ LICENSE ด้วย ดังนั้นตอนนี้ดูเหมือนว่าจะใช้โค้ดนี้ได้มากสุดแค่เป็นข้อมูลอ้างอิง
ต่อให้ใช้ตรง ๆ ไม่ได้ ก็ยังนับว่าน่าขอบคุณมากในฐานะ การมีส่วนร่วมต่อองค์ความรู้สาธารณะ
ตรงนี้ชี้ไปที่ไลเซนส์ของ Meta Llama 3.2
เห็นอันนี้แล้วรู้สึกดี คนที่ชอบเทคโนโลยีถ้ามองข้าม NotebookLM ไปอาจเสี่ยงพอตัว
คนฉลาดแต่ไม่ได้สายเทคนิคที่ผมรู้จัก ส่วนใหญ่รับ NotebookLM ว่าเป็นเหมือน แอป AI ระดับ killer app เลย
ทั้งพ่อแม่วัย 70 กว่าและลูกวัย 8 ขวบของผมต่างก็ทึ่งกับมันและหยิบมาเล่นต่อเนื่อง
อย่างที่มีคนชี้ไว้ข้างล่าง สิ่งที่กำลังพูดถึงตรงนี้คือฟีเจอร์ “พอดแคสต์” โดยเฉพาะ
จะว่าไปมันออกจะเป็นเครื่องมือที่กินเวลามากกว่า
มันให้ความรู้สึกคล้ายวิดีโอที่มีเหตุผลในการมีอยู่เพราะบางคน แม้แต่ในหมู่นักพัฒนาเอง ก็อ่านหนังสือไม่ไหวหรือรู้สึกกดดันกับข้อความยาว ๆ
มันมี ข้อเสียเชิงการแข่งขัน แบบเดียวกับที่แม้แต่หน้าเว็บข้อความสั้นมาก ๆ ก็ยังต้องแปะวิดีโอถึงจะพอบรรเทาได้บ้าง
ผมไม่เข้าใจว่าถ้ามองข้ามอันนี้เหมือนที่มองข้ามพอดแคสต์อื่น ๆ จะพลาดอะไรไป
แทบไม่เคยเห็นใครบอกว่าตัวเองได้เรียนรู้อะไรจากพอดแคสต์เลย ส่วนใหญ่ก็เป็นแค่ความรู้กระจัดกระจายในสาขาอื่นที่ไม่ได้มีประโยชน์ให้ใช้งาน
ช่วงหลายเดือนที่ผ่านมา ผมพยายามทำอะไรคล้าย NotebookLM คือพอดแคสต์ข่าวแบบปรับแต่งเฉพาะบุคคล (https://www.tailoredpod.ai)
ปัญหาใหญ่ที่สุดคือ TTS API ดี ๆ ที่มีอยู่ตอนนี้แพงเกินไป ทำให้บริษัททั่วไปที่ไม่มีสิทธิ์เข้าถึงโมเดลภายในของ Google สร้างผลิตภัณฑ์แบบ NotebookLM ได้ยาก
OpenAI มี TTS API ที่คุณภาพต่อราคาพอใช้ได้ที่สุดเท่าที่มี แต่ถึงอย่างนั้นก็ยังแพงเกินไปสำหรับการสร้างออดิโอฟรีหลายชั่วโมง
โมเดล TTS แบบโอเพนซอร์สก็กำลังค่อย ๆ ไล่ตามมา แต่ตอนนี้ยังต้องใช้ฮาร์ดแวร์แรงอยู่ เช่น: https://github.com/SWivid/F5-TTS
การเลือก TTS engine ค่อนข้างแปลก
ถ้ามองตามมาตรฐานระบบ TTS แบบเปิด ก็ไม่มีตัวไหนใกล้เคียงระดับล้ำสมัยเลย
XTTSv2 หรือ F5-TTS รุ่นใหม่ น่าจะเป็นตัวเลือกที่ดีกว่ามาก
การที่ Meta ปล่อยอะไรลง GitHub มักไม่ใช่เพื่อเอา “ของที่ดีที่สุด” ออกมา แต่ใกล้เคียงกับการให้ proof of concept มากกว่า
ไลเซนส์ของระบบ TTS พวกนั้นก็สำคัญเหมือนกัน ดังนั้นแค่เปิดให้เข้าถึงได้อย่างเดียวจึงยังไม่พอ
ถ้าเป็นผลิตภัณฑ์สำหรับผู้ใช้จริง ก็คงเลือก TTS ที่ดีกว่านี้แน่นอน
“การทดลองโมเดลเสียง: ข้อจำกัดอยู่ที่ความเป็นธรรมชาติของเสียงจากโมเดล TTS นี่เอง น่าจะปรับปรุงได้ด้วย pipeline ที่ดีกว่าและความช่วยเหลือจากคนที่เชี่ยวชาญกว่า เรายินดีรับ PR! :)”
ตัวอย่างผลลัพธ์ออกมาแย่มาก
มันเป็นเดโมที่เจ๋งก็จริง แต่ยิ่งตอกย้ำว่า NotebookLM team สร้างผลิตภัณฑ์ที่ประสบความสำเร็จอย่างมากได้อย่างไร ทั้งที่ใช้ base model แทบไม่ต่างจากของที่มีให้ใช้อยู่แล้ว
สิ่งนี้ดูใกล้เคียงกับการทดลองไม่กี่อย่างในโน้ตบุ๊ก iPython มากกว่าจะเป็น NotebookLM แบบโอเพนซอร์ส
สิ่งที่ NotebookLM ทำในระดับ LLM ไม่ได้ใหม่เป็นพิเศษ และจุดที่น่าสนใจคือมัน ถูกแพ็กเป็นผลิตภัณฑ์อย่างไร ให้ต่างจากผลิตภัณฑ์อื่น
ส่วน “พอดแคสต์” จริง ๆ ก็ใกล้เคียงกับการแนะนำหรือสรุปภาพรวมของคอร์ปัสขนาดใหญ่ และสิ่งที่มีประโยชน์กว่ามากคือความสามารถในการคุยกับบอตเกี่ยวกับคอร์ปัสนั้นพร้อมได้รับแหล่งอ้างอิง
แต่ตัวอย่างนี้ก็แสดงให้เห็นว่า การทำต้นแบบด้วย LLM นั้นเร็วมาก
ถ้ายังไม่เคยลองเล่น API ก็แนะนำให้ลองดูสักครั้ง
ความใหม่ของ NotebookLM อยู่ที่วิธีที่ผู้ดำเนินรายการสองคนพูดแทรกกันและมีจังหวะพูดทับกัน
โซลูชันโอเพนซอร์สอื่นทำแบบนั้นไม่ได้ ทำได้แค่พูดสลับกันไปมา
ยังมีโซลูชันโน้ตบุ๊กบน Jupyter อีกตัวที่รองรับโมเดล LLaMA: https://raku.land/zef:antononcube/Jupyter::Chatbook
วิดีโอเดโมอยู่ที่นี่: https://youtu.be/zVX-SqRfFPA
นี่ทำได้แค่สร้างพอดแคสต์ใช่ไหม?
ฉันสนใจฟีเจอร์อื่นของ NotebookLM มากกว่า
พอดแคสต์สนุกก็จริง แต่ค่อนข้างเป็น ลูกเล่น
มันเป็นทั้ง ระบบและสื่อกลาง ที่ดีสำหรับทำความเข้าใจข้อมูลซับซ้อนที่ปกติแล้วคงทำความเข้าใจไม่ได้
ถ้ารันแบบโลคัลบนโทรศัพท์ได้ก็น่าจะเจ๋งมาก
ลองนึกภาพว่าได้รับเอกสารงาน เช่น เอกสารความต้องการผลิตภัณฑ์ แล้วแปลงเป็นพอดแคสต์ให้ฟังระหว่างขับรถได้
น่าจะช่วยเพิ่มประสิทธิภาพการทำงานอย่างมาก และไม่ต้องกังวลเรื่องปัญหา compliance ด้วย