- โปรเจกต์ DIY ที่สร้างเสิร์ชเอนจินชื่อ Searcha Page/Seek Ninja บนเซิร์ฟเวอร์ส่วนตัวที่วางไว้ในห้องซักผ้า เพื่อมอบ ประสบการณ์ใกล้เคียง Google
- เริ่มต้นจาก ดัชนีราว 2 พันล้านหน้า และตั้งเป้าไปที่ 4 พันล้านเอกสาร ภายในครึ่งปี โดยผสานวิธีทำดัชนีแบบดั้งเดิมเข้ากับ การขยายคีย์เวิร์ดและความเข้าใจบริบทด้วย LLM
- ใช้อุปกรณ์ระดับ AMD EPYC 7532 (32 คอร์)·RAM 0.5TB ที่ประกอบจากชิ้นส่วนเซิร์ฟเวอร์มือสอง ลงทุนรวม 5,000 ดอลลาร์ และลดต้นทุนด้วยกลยุทธ์ Upgrade Arbitrage
- ลดการพึ่งพาคลาวด์ให้มากที่สุด แต่ใช้ Llama 3 ของ SambaNova สำหรับการอนุมานของ LLM ส่วน Seek Ninja เป็นเวอร์ชัน เน้นความเป็นส่วนตัว ที่ไม่เก็บโปรไฟล์และไม่ใช้ตำแหน่งที่ตั้ง
- การนำ AI มาใช้ทำให้ ขยายระบบได้ในต้นทุนต่ำ และโค้ดเบสขนาด 150,000 บรรทัดของเขาก็พัฒนาได้เร็วขึ้นผ่าน LLM จนสามารถสร้างระบบขนาดใหญ่เพียงลำพังได้
- แม้จะเป็นการติดตั้งแบบส่วนตัวและต้นทุนต่ำ แต่ก็ยังรักษา ความแม่นยำและความเร็วของการค้นหาแบบโลคัล ได้ และยังแสดงให้เห็นถึง ศักยภาพเชิงทดลองของทางเลือกใหม่ในตลาดเสิร์ช เช่น การพิจารณาย้ายไปโคโลเคชันเมื่อทราฟฟิกเพิ่มขึ้น
เบื้องหลัง: ประสบการณ์ค้นหาแบบ ‘เกือบเหมือน Google’ ด้วยฮาร์ดแวร์ขนาดเล็ก
- เป็นกรณีตัวอย่างที่ตัดกับประวัติของ Google ซึ่งเริ่มจาก เซิร์ฟเวอร์ในเคสต่อจากบล็อก Duplo และแสดงให้เห็นว่าแม้มีเพียงเซิร์ฟเวอร์เก่าหนึ่งเครื่องก็ยังเข้าใกล้ ประสบการณ์ค้นหาสมัยใหม่ ได้
- เมื่อ 30 ปีก่อน Google เริ่มต้นจาก Backrub ในมหาวิทยาลัย Stanford โดยใช้เซิร์ฟเวอร์ทดลองที่ใส่ข้อมูล 40GB ไว้ในเคสที่ทำจาก บล็อก Duplo
- ต่อมาจึงอัปเกรดเป็นแร็กเซิร์ฟเวอร์ขนาดเล็กด้วยการสนับสนุนจาก IBM และ Intel แต่ในปี 2025 ระบบค้นหาของ Google ก็เติบโตจนมีขนาดใหญ่เกินกว่าจะอยู่ในดาต้าเซ็นเตอร์เพียงแห่งเดียวได้
- Searcha Page ของ Ryan Pearce สร้าง ประสบการณ์ค้นหาสมัยใหม่ ด้วยเครื่องที่มีขนาดประมาณเซิร์ฟเวอร์ยุคแรกของ Google
- เซิร์ฟเวอร์ถูกย้ายจากห้องนอนไปติดตั้งข้างเครื่องซักผ้าและเครื่องอบผ้า เพื่อลดปัญหา ความร้อนและเสียงรบกวน
- แม้จะมีข้อจำกัดจากการตั้งไว้ในห้องซักผ้า แต่คุณภาพผลลัพธ์การค้นหาจริงก็ยังถูกประเมินว่า ให้ความรู้สึกอยู่ในกลุ่มบนๆ
- ขนาดดัชนีปัจจุบันอยู่ที่ ราว 2 พันล้านเอกสาร และคาดว่าจะไปถึง 4 พันล้านเอกสารภายใน 6 เดือน
- ตัวเลขเทียบเคียง: Google ในปี 1998 มี 24 ล้านหน้า และในปี 2020 มี 4 แสนล้านหน้า
- แม้ขนาดรวมจะเล็กกว่า แต่สำหรับ เซิร์ฟเวอร์เดี่ยวที่โฮสต์เอง ถือว่าใหญ่มาก
เทคโนโลยีหลัก: ดัชนีแบบดั้งเดิม + LLM ช่วยเสริม
- สถาปัตยกรรมโดยรวมยังยึดตาม โครงสร้างเสิร์ชเอนจินแบบดั้งเดิม แต่เป็นการออกแบบแบบไฮบริดที่ให้ LLM ช่วยขยายคีย์เวิร์ดและตัดสินบริบท
- เป็นการชวนให้นึกถึงประวัติการฝัง AI เข้าไปในเสิร์ชเอนจินรายใหญ่ เช่น RankBrain และย้ำว่าไม่ว่าใครจะต่อต้าน LLM แค่ไหน AI ก็เป็นองค์ประกอบสำคัญของการค้นหามานานแล้ว
- LLM ถูกใช้เป็นเครื่องมือเชิงปฏิบัติที่ช่วยเพิ่ม ความเร็วในการพัฒนาและความสามารถในการขยายระบบ ในการสร้างชุดข้อมูลและทำความเข้าใจบริบท
- ผู้พัฒนาระบุว่าในช่วงแรกเขาจะทำฟังก์ชันด้วย LLM ก่อน แล้วค่อย แทนที่ด้วยลอจิกแบบดั้งเดิม ในภายหลัง ทำซ้ำเช่นนี้จนโค้ดเบสเติบโตเป็น ประมาณ 150,000 บรรทัด
- หากนับรวมงานที่เกิดจากการพัฒนาแบบทำซ้ำ ปริมาณงานจริงอาจเทียบได้กับ ราว 500,000 บรรทัด
โครงสร้างพื้นฐาน: ทำดัชนีเอง และ ‘ส่วนต่างจากการอัปเกรด’ ของเซิร์ฟเวอร์มือสอง
- อุปกรณ์เป็นเซิร์ฟเวอร์มือสองบนพื้นฐาน AMD EPYC 7532 (32 คอร์) โดยใช้ประโยชน์อย่างเต็มที่จาก การลดลงของราคา ของ CPU ที่ตอนเปิดตัวเคยมีราคามากกว่า 3,000 ดอลลาร์ แต่ปัจจุบันซื้อขายกันในราคา ต่ำกว่า 200 ดอลลาร์
- ค่าใช้จ่ายรวมของระบบอยู่ที่ราว 5,000 ดอลลาร์ โดยในจำนวนนี้ใช้กับ สตอเรจประมาณ 3,000 ดอลลาร์
- ด้วยการติดตั้ง RAM 0.5TB เป็นต้น จึงรองรับ เซสชันพร้อมกันได้หลายร้อยรายการ
- แม้จะยึดแนวทาง โฮสต์เอง (self-hosting) และลดการใช้คลาวด์ให้ต่ำที่สุด แต่สำหรับ การอนุมานของ LLM ยังใช้ SambaNova (Llama 3) เพื่อให้เข้าถึงได้แบบ ต้นทุนต่ำและความเร็วสูง
- ใช้เว็บคอร์ปัสสาธารณะอย่าง Common Crawl เพื่อเร่งการทำงานของ crawler และ indexer และมีแผนจะลดการพึ่งพาในระยะยาว
ผลิตภัณฑ์: Searcha Page และ Seek Ninja
- Searcha Page: มี UX ของ SERP แบบดั้งเดิม คล้าย Google และให้ผลลัพธ์ที่ใช้ได้จริงแม้กับ การค้นหาแบบโลคัล
- มีการกล่าวถึงการใช้ สรุปด้วย LLM แทน meta description เพื่อเสริมคำอธิบาย ความเกี่ยวข้องระหว่างคำค้นกับเอกสาร
- Seek Ninja: เวอร์ชัน ให้ความสำคัญกับความเป็นส่วนตัว ที่ ไม่เก็บโปรไฟล์และไม่ใช้ตำแหน่งที่ตั้ง
- เป็นแนวทางแบบ เบาและมินิมอล ที่เหมาะจะใช้แทน โหมดไม่ระบุตัวตน
- การหารายได้กำลังทดลองใช้ โฆษณาพันธมิตรแบบนุ่มนวล แทนแบนเนอร์จำนวนมาก และมีแผน ย้ายไปโคโลเคชันเมื่อทราฟฟิกเพิ่มขึ้นอย่างมาก
กรณีเทียบเคียง: แนวทางคลาวด์และเวกเตอร์ของ Wilson Lin
- ในอีกการทดลองส่วนบุคคลของยุคเดียวกัน Wilson Lin ใช้กลยุทธ์ cloud-native ร่วมกับ เอนจินเวกเตอร์ของตัวเอง (CoreNN) เพื่อมุ่งสู่การดำเนินงานแบบ ต้นทุนต่ำมาก
- เขาสร้าง สรุปด้วย LLM ให้แต่ละเอกสาร เพื่อแสดงความสัมพันธ์ระหว่าง คำค้นกับเอกสาร ในอีกรูปแบบหนึ่ง
- เป้าหมายร่วมกันคือการตระหนักว่าอุปสรรคที่ใหญ่กว่าตัวเทคโนโลยีอาจเป็นเรื่องของ ตลาดและช่องทาง
- Pearce เคยลองใช้ vector DB แต่พบว่าผลลัพธ์ คลุมเครือและเหมือนงานศิลป์ จนถึงขั้นมองว่าไม่แม่นยำ จึงหันกลับไปใช้วิธีดั้งเดิมในมุมของ ความแม่นยำในการจัดอันดับ
ประเด็นการปฏิบัติการ: ความร้อนและเสียง, ข้อจำกัดทางกายภาพของห้องซักผ้า
- เดิมเซิร์ฟเวอร์อยู่ในห้องนอนและก่อปัญหาการใช้ชีวิตจาก ความร้อน จึงย้ายไปที่ ห้องยูทิลิตี้ และเชื่อมต่อด้วยวิธีอย่าง การเจาะรูเดินสายเคเบิล
- หากปิดประตูไว้นานเกินไป ความร้อนสะสม อาจกลายเป็นปัญหาได้ ทำให้ การระบายอากาศ เป็นปัจจัยสำคัญ
- แม้จะมีแนวโน้ม ไม่เชื่อมั่นคลาวด์ แต่เมื่อคำนึงถึงข้อจำกัดของ LLM และทราฟฟิก ก็ยังพิจารณาการย้ายไป โคโลเคชันในดาต้าเซ็นเตอร์ ตามเงื่อนไขที่กำหนดไว้
ความหมาย: การทดลองไล่ตาม Google โดยนักพัฒนาเพียงคนเดียว และบทบาทที่เป็นจริงของ LLM
- ตรงกันข้ามกับความเชื่อที่ว่า LLM คือเครื่องมือที่ทำลายคุณภาพการค้นหา มันกลับเป็นเครื่องมือที่ใช้งานได้จริงในฐานะ ตัวเร่งการพัฒนาและการขยายระบบ ซึ่งเปิดทางให้คนคนเดียวมี ความสามารถในการสร้างเสิร์ชเอนจิน
- แนวทาง ดัชนีแบบดั้งเดิม + LLM ช่วยเสริม คือการประนีประนอมเชิงปฏิบัติที่ต้องการทั้ง ความแม่นยำและความสามารถในการอธิบาย
- การผสมผสานระหว่าง เซิร์ฟเวอร์มือสองราคาต่ำ + คอร์ปัสสาธารณะ + LLM API ราคาถูก พิสูจน์ว่าการทำ เสิร์ชทางเลือก สามารถเกิดขึ้นได้โดยไม่ต้องมี ทรัพยากรระดับบิ๊กเทค
- แม้ยังมีอุปสรรคอย่าง การขยายไปยังภาษาอื่น, ต้นทุนการ crawl อย่างต่อเนื่อง และ ความทนทานต่อสแปม แต่ก็เป็นกรณีที่แสดงให้เห็นถึง ศักยภาพเชิงทดลองในการแข่งขัน ในพื้นที่อย่าง เสิร์ชเฉพาะทาง และ บริการที่เน้นความเป็นส่วนตัว
ยังไม่มีความคิดเห็น