วิธีปรับปรุง "ระบบแนะนำ" และ "การค้นหา" ในยุคของ LLM

 (eugeneyan.com)
22 คะแนน โดย GN⁺ 2025-03-20 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ระบบแนะนำและการค้นหามีการพัฒนามาโดยได้รับแรงบันดาลใจจาก โมเดลภาษา ในเชิงประวัติศาสตร์
    • Word2vec → การเรียนรู้ item embedding (การค้นหาแบบอิง embedding)
    • GRU, Transformer, BERT → การทำนายรายการถัดไปที่จะแนะนำ (ranking)
  • ปัจจุบันพาราไดม์ของโมเดลภาษาขนาดใหญ่ (LLM) ก็พัฒนาไปในทิศทางเดียวกัน
  • พัฒนาการสำคัญ

    • 1. สถาปัตยกรรมโมเดลที่เสริมด้วย LLM/มัลติโหมด

    • 2. การสร้างและวิเคราะห์ข้อมูลด้วย LLM

    • 3. Scaling Laws, transfer learning, knowledge distillation, LoRA

    • 4. สถาปัตยกรรมแบบบูรณาการระหว่างการค้นหาและระบบแนะนำ

สถาปัตยกรรมโมเดลที่เสริมด้วย LLM/มัลติโหมด

  • โมเดลแนะนำกำลังนำ โมเดลภาษา (LLM) และ คอนเทนต์มัลติโหมด มาใช้เพื่อก้าวข้ามข้อจำกัดของแนวทางแบบอิง ID ดั้งเดิม
  • ผสานจุดแข็งของ การสร้างแบบจำลองพฤติกรรม เข้ากับความเข้าใจคอนเทนต์ → ช่วยแก้ปัญหา cold start และ long-tail

  • 1. Semantic IDs (YouTube)

    • ใช้ Semantic ID ที่ได้มาจากคอนเทนต์แทน ID แบบ hash เดิม
    • นำ เฟรมเวิร์กสองขั้นตอน มาใช้:
      1. video encoder แบบ Transformer → สร้าง content embedding แบบหนาแน่น
      2. RQ-VAE(Residual Quantization Variational AutoEncoder) → แปลง embedding เป็น Semantic ID ในรูปแบบจำนวนเต็ม
    • โครงสร้าง RQ-VAE:
      • latent space ขนาด 256 มิติ, ระดับ quantization 8 ระดับ, codebook 2048 รายการต่อระดับ
      • สร้าง embedding ขนาด 2048 มิติจาก VideoBERT backbone แบบ Transformer
    • ผลลัพธ์:
      • ประสิทธิภาพของ embedding แบบหนาแน่นโดยตรงต่ำกว่า ID แบบ hash สุ่ม
      • แนวทางที่อิง N-gram และ SPM(SentencePiece Model) ให้ประสิทธิภาพดีเป็นพิเศษในสถานการณ์ cold start

  • 2. M3CSR (Kuaishou)

    • content embedding แบบมัลติโหมด (ภาพ, ข้อความ, เสียง) → ทำ clustering ด้วย K-means แล้วแปลงเป็น ID ที่เรียนรู้ได้
    • โครงสร้าง dual tower:
      • tower ฝั่งผู้ใช้: สร้างแบบจำลองพฤติกรรมผู้ใช้
      • tower ฝั่งไอเท็ม: คำนวณล่วงหน้าและทำ indexing สำหรับ item embedding
    • กระบวนการฝึก:
      • รวม embedding จาก ResNet(ภาพ), Sentence-BERT(ข้อความ), VGGish(เสียง) → ทำ K-means clustering (~1000 คลัสเตอร์)
      • แมป cluster ID ไปเป็น embedding ที่เรียนรู้ได้
    • ผลลัพธ์:
      • ใน A/B test ปรับปรุงคลิก +3.4%, ไลก์ +3.0%, ติดตาม +3.1%
      • ในสถานการณ์ cold start ปรับปรุงความเร็ว +1.2%, coverage +3.6%

  • 3. FLIP (Huawei)

    • การจัดแนวระหว่าง โมเดลแนะนำแบบอิง ID กับ LLM
    • เรียนรู้พร้อมกันจาก ข้อความที่ถูก mask และข้อมูลตาราง → ทำ multimodal alignment
    • ขั้นตอนการฝึก:
      • 1. การแปลงโมดัล: แปลงข้อมูลตารางเป็นข้อความ
      • 2. การ pretrain เพื่อจัดแนวโมดัล: สร้างข้อความและ ID ที่ถูก mask กลับคืน
      • 3. adaptive fine-tuning: ปรับค่าน้ำหนักของทั้งสองโมเดลให้เหมาะกับการทำนายการคลิก
    • ผลลัพธ์:
      • ประสิทธิภาพดีกว่าโมเดลแบบอิง ID, แบบอิง LLM และแบบ ID + LLM
      • ระดับการ mask และ multimodal alignment มีบทบาทสำคัญต่อการปรับปรุงประสิทธิภาพ

  • 4. beeFormer

    • ฝึกโมเดล Transformer โดยอิงจาก ข้อมูลข้อความ และ ข้อมูลปฏิสัมพันธ์ระหว่างผู้ใช้-ไอเท็ม
    • ใช้ decoder ที่อิง ELSA(Scalable Linear Shallow Autoencoder) → เสริมการเรียนรู้รูปแบบปฏิสัมพันธ์
    • กระบวนการฝึก:
      • สร้าง embedding ด้วย Transformer → เรียนรู้รูปแบบพฤติกรรมผู้ใช้ผ่าน ELSA
      • ใช้ gradient checkpointing, การขยาย batch size, negative sampling เพื่อเพิ่มประสิทธิภาพการฝึกบนแคตตาล็อกขนาดใหญ่
    • ผลลัพธ์:
      • ให้ประสิทธิภาพดีกว่าโมเดลเดิมอย่าง mpnet-base-v2, bge-m3
      • พบการปรับปรุงประสิทธิภาพในการ transfer learning ข้ามโดเมน

  • 5. CALRec (Google)

    • สร้างแบบจำลองปฏิสัมพันธ์ผู้ใช้-ไอเท็มด้วย prompt แบบข้อความ
    • ทำ fine-tuning สองขั้นตอนสำหรับโมเดลที่อิง PaLM-2 XXS
    • ขั้นตอนการฝึก:
      • 1. การเรียนรู้หลายหมวดหมู่: เรียนรู้รูปแบบการแนะนำทั่วไป
      • 2. การเรียนรู้เฉพาะหมวดหมู่: เรียนรู้รูปแบบที่เฉพาะกับหมวดหมู่ของไอเท็ม
    • ผลลัพธ์:
      • บน Amazon Review Dataset มีประสิทธิภาพดีกว่าโมเดลแบบอิง ID และแบบอิงข้อความ
      • การเรียนรู้หลายหมวดหมู่และ contrastive learning ช่วยปรับปรุงประสิทธิภาพ

  • 6. EmbSum (Meta)

    • สร้าง สรุปความสนใจของผู้ใช้ และ สรุปไอเท็มตัวเลือก
    • ใช้โมเดล T5-small และ Mixtral-8x22B-Instruct
    • องค์ประกอบ:
      • User Poly-Embeddings (UPE) → embedding ความสนใจของผู้ใช้
      • Content Poly-Embeddings (CPE) → item embedding
      • สร้างสรุป → ป้อนเข้า encoder → สร้างคำแนะนำขั้นสุดท้าย
    • ผลลัพธ์:
      • ให้ประสิทธิภาพดีกว่าโมเดลแนะนำแบบอิงคอนเทนต์
      • การจัดกลุ่มแบบอิง session และ summary loss มีบทบาทสำคัญต่อประสิทธิภาพ

การสร้างและวิเคราะห์ข้อมูลด้วย LLM

  • LLM ถูกใช้เพื่อแก้ปัญหา ข้อมูลไม่เพียงพอ และ ยกระดับคุณภาพข้อมูล ของระบบแนะนำและระบบค้นหา
  • กรณีการใช้งานหลัก:
    • Bing → สร้าง metadata ของเว็บเพจและเสริมประสิทธิภาพการทำนายการคลิก
    • Indeed → กรองการจับคู่งานคุณภาพต่ำ
    • Yelp → ปรับปรุงความเข้าใจ search query และ review highlight
    • Spotify → สร้าง query สำหรับการค้นหาเชิงสำรวจ
    • Amazon → เสริม metadata ของเพลย์ลิสต์และปรับปรุงประสิทธิภาพการค้นหา

  • 1. Recommendation Quality Improvement (Bing)

    • ใช้ GPT-4 สร้างชื่อเรื่องและสรุปคุณภาพสูงจากเว็บเพจ
    • fine-tune โมเดล Mistral-7B ด้วย metadata ที่สร้างจากเว็บเพจประมาณ 2 ล้านหน้า
    • ฝึก cross encoder ที่อิง MiniLM เพื่อรวมการทำนายการคลิกกับคะแนนคุณภาพ
    • ผลลัพธ์:
      • ลดคอนเทนต์ clickbait 31%, ลดคอนเทนต์ซ้ำ 76%
      • เพิ่มคอนเทนต์ที่น่าเชื่อถือ 18%, เพิ่มคำแนะนำข้ามสื่อ 48%

  • 2. Expected Bad Match (Indeed)

    • fine-tune GPT-3.5 ด้วยข้อมูลรีวิวจากมนุษย์เพื่อสร้างโมเดลกรองการจับคู่งานคุณภาพต่ำ (eBadMatch)
    • รักษาประสิทธิภาพระดับ GPT-4 พร้อมลดต้นทุนและเพิ่มความเร็ว
    • โมเดลกรองขั้นสุดท้ายลดจำนวนอีเมลเชิญจับคู่ได้ 17.68%, ลดอัตรายกเลิกสมัคร 4.97%, เพิ่มอัตราการสมัคร 4.13%
    • ผลลัพธ์:
      • ประสิทธิภาพ AUC-ROC ของโมเดลกรอง: 0.86

  • 3. Query Understanding (Yelp)

    • ใช้ LLM เพื่อปรับปรุง การแยกย่อย search query และ review highlight
    • การแยกย่อย query:
      • แยกหัวข้อ ชื่อ เวลา สถานที่ ฯลฯ แล้วเพิ่ม semantic tag
      • ใช้เทคนิค RAG(Retrieval-Augmented Generation) เพื่อเสริมความเข้าใจ query ตามบริบท
    • review highlight:
      • ใช้ LLM สร้าง highlight → ขยายสเกลด้วยการเรียก OpenAI แบบ batch
    • ผลลัพธ์:
      • session การค้นหาและ CTR ดีขึ้น
      • ประสิทธิภาพดีขึ้นแม้ใน long-tail query

  • 4. Query Recommendations (Spotify)

    • Spotify เพิ่ม คำแนะนำ query สำหรับการค้นหาเชิงสำรวจ นอกเหนือจากผลการค้นหาโดยตรง
    • วิธีสร้าง query:
      • ดึงจากชื่อในแคตตาล็อก เพลย์ลิสต์ และพอดแคสต์
      • สะท้อนการค้นหาล่าสุดของผู้ใช้จาก search log
      • ใช้เทคนิคสร้างประโยคด้วย LLM (Doc2query, InPars ฯลฯ)
    • จัดอันดับคำแนะนำ query ด้วย vector embedding แบบ personalized
    • ผลลัพธ์:
      • สัดส่วน query เชิงสำรวจเพิ่มขึ้น +9%
      • ความยาว query สูงสุดเพิ่มขึ้น +30%, ความยาว query เฉลี่ยเพิ่มขึ้น +10%

  • 5. Playlist Search (Amazon)

    • ใช้ LLM เพื่อสร้างและเสริม metadata ของเพลย์ลิสต์จากชุมชน
    • fine-tune โมเดล Flan-T5-XL เพื่อเพิ่มประสิทธิภาพการสร้างข้อมูล
    • ฝึกโมเดล bidirectional encoder ด้วย query ที่ LLM สร้างและข้อมูลการจับคู่กับเพลย์ลิสต์
    • ผลลัพธ์:
      • ปรับปรุง recall ของผลการค้นหาในระดับ double-digit
      • ปรับปรุงประสิทธิภาพ SEO และการ paraphrase

Scaling Laws, transfer learning, knowledge distillation, LoRA

  • Scaling Laws

    • งานวิจัยที่วิเคราะห์ผลของ ขนาดโมเดล และ ปริมาณข้อมูล ต่อประสิทธิภาพ
    • ใช้สถาปัตยกรรม Decoder-only Transformer (ช่วงพารามิเตอร์ 98.3K ~ 0.8B)
    • ประเมินบนชุดข้อมูล MovieLens-20M และ Amazon-2018
    • ใช้ลำดับความยาวคงที่ 50 รายการเพื่อทำนายรายการถัดไป
    • เทคนิคหลัก:
      • layer-wise adaptive dropout → ชั้นล่างใช้ dropout สูง ชั้นบนใช้ dropout ต่ำ
      • Adam → SGD transition → ช่วงแรกฝึกด้วย Adam แล้วเปลี่ยนเป็น SGD ภายหลังเพื่อเพิ่มความเร็วในการลู่เข้า
    • ผลลัพธ์:
      • ยิ่งโมเดลใหญ่ cross-entropy loss ยิ่งลดลง
      • โมเดลขนาดเล็กต้องการข้อมูลมากกว่า แต่โมเดลใหญ่ให้ประสิทธิภาพดีได้แม้ใช้ข้อมูลน้อยกว่า
      • โมเดลขนาด 75.5M และ 98.3K มีประสิทธิภาพดีขึ้นใน 2~5 epoch

  • PrepRec

    • นำ pretraining มาใช้ในระบบแนะนำ → ทำ transfer learning ข้ามโดเมน ได้
    • เรียนรู้ได้โดยไม่ต้องใช้ metadata ของไอเท็ม ใช้เพียง การเปลี่ยนแปลงแบบไดนามิกของความนิยมไอเท็ม
    • ใช้ช่วงเวลาสัมพัทธ์ระหว่างปฏิสัมพันธ์ของผู้ใช้และ position encoding
    • ผลลัพธ์:
      • ใน zero-shot recommendation ค่า recall@10 ลดลง 2~6% แต่หลังฝึกแล้วประสิทธิภาพใกล้เคียงกัน
      • หลังฝึกบนโดเมนเป้าหมาย มีประสิทธิภาพเทียบเท่าโมเดล SasREC และ BERT4Rec

  • E-CDCTR (Meituan)

    • ใช้ transfer learning กับโมเดลทำนายการคลิกโฆษณา
    • ใช้โครงสร้างการฝึก 3 ขั้น TPM → CPM → A-CTR
      • TPM → เรียนรู้ user และ item embedding
      • CPM → pretrain ด้วยข้อมูล organic ล่าสุด
      • A-CTR → ปรับจูนละเอียดด้วยข้อมูลโฆษณา
    • ผลลัพธ์:
      • CPM มีผลต่อประสิทธิภาพมากที่สุด → สามารถเรียนรู้สัญญาณ collaborative filtering ระยะยาว
      • ใช้ embedding จากช่วง 3 เดือนก่อนหน้าแล้วประสิทธิภาพดีขึ้น

  • Bridging the Gap (YouTube)

    • การแนะนำวิดีโอแบบ personalized ขนาดใหญ่ด้วย knowledge distillation
    • ใช้โครงสร้าง teacher-student model (teacher ใหญ่กว่า student 2~4 เท่า)
    • ใช้กลยุทธ์ auxiliary distillation แทนการทำนายโดยตรง → แก้ปัญหา distribution shift
    • ผลลัพธ์:
      • เมื่อใช้กลยุทธ์ auxiliary distillation ประสิทธิภาพดีขึ้น 0.4%
      • เมื่อ teacher ใหญ่กว่า 2 เท่า ได้ +0.42% และเมื่อใหญ่กว่า 4 เท่า ได้ +0.43%

  • Self-Auxiliary Distillation (Google)

    • เพิ่ม sample efficiency ของโมเดลแนะนำขนาดใหญ่
    • โครงสร้างกิ่งสองทาง → เรียนรู้แบบผสมระหว่าง teacher label และ label ดั้งเดิม
    • ปฏิบัติต่อ negative label ไม่ใช่ 0 แต่เป็นค่า CTR ที่ประมาณไว้
    • ผลลัพธ์:
      • ประสิทธิภาพดีขึ้นอย่างสม่ำเสมอในหลายโดเมน
      • เพิ่มเสถียรภาพในการฝึกและความแม่นยำของเอาต์พุตโมเดล

  • DLLM2Rec

    • กลั่นความรู้ด้านการแนะนำของโมเดลภาษาขนาดใหญ่ไปยังโมเดลขนาดเล็ก
    • ใช้ importance-based ranking distillation และ collaborative embedding distillation
      • importance-based ranking distillation → ให้น้ำหนักกับลำดับไอเท็มและความสอดคล้อง
      • collaborative embedding distillation → ชดเชยความต่างของ embedding ระหว่าง teacher กับ student
    • ผลลัพธ์:
      • ปรับปรุงประสิทธิภาพเฉลี่ย 47.97% บนโมเดล GRU4Rec, SASRec, DROS
      • เวลา inference ลดจาก 3~6 ชั่วโมง → 1.6~1.8 วินาที ของโมเดล teacher

  • MLoRA (Alibaba)

    • ใช้ LoRA (Low-Rank Adaptation) แบบแยกตามโดเมน ในการทำนาย CTR
    • pretrain backbone model ร่วมก่อน แล้ว fine-tune ด้วย LoRA เฉพาะโดเมน
    • กำหนด LoRA rank แบบไดนามิกตามแต่ละเลเยอร์
    • ผลลัพธ์:
      • ประสิทธิภาพ AUC +0.5%
      • CTR +1.49%, conversion rate +3.37%, ผู้ซื้อแบบชำระเงิน +2.71%

  • Taming One-Epoch (Pinterest)

    • แก้ปัญหา overfitting ภายใน epoch เดียว
    • แยกขั้นตอนการฝึกด้วย contrastive learning
      • ขั้นแรก → เรียนรู้ embedding
      • ขั้นที่สอง → ปรับจูนละเอียด
    • ผลลัพธ์:
      • ประสิทธิภาพดีกว่า BCE loss แบบเดิม
      • Home feed +1.32%, related pins +2.18%

  • Sliding Window Training (Netflix)

    • นำ sliding window training มาใช้เพื่อฝึกจากประวัติผู้ใช้ที่ยาวโดยไม่เพิ่มภาระหน่วยความจำ
    • เลือกเซกเมนต์ประวัติผู้ใช้ที่ต่างกันในแต่ละ epoch ของการฝึก
    • รักษาสมดุลระหว่างปฏิสัมพันธ์ล่าสุด 100 รายการกับปฏิสัมพันธ์ระยะยาว
    • ผลลัพธ์:
      • ประสิทธิภาพดีขึ้นอย่างสม่ำเสมอเมื่อเทียบกับโมเดลที่ใช้เฉพาะปฏิสัมพันธ์ล่าสุด
      • Mean Average Precision(MAP) +1.5%, recall +7.01%

สถาปัตยกรรมแบบบูรณาการระหว่างการค้นหาและระบบแนะนำ

  • Bridging Search & Recommendations (Spotify)

    • ฝึกข้อมูลการค้นหาและคำแนะนำร่วมกันในโมเดลแบบสร้างหนึ่งเดียว
    • ใช้ Flan-T5-base เป็นฐานและแปลง item ID เป็น token เพื่อฝึก
    • โมเดลแนะนำแบบสร้าง: ทำนายไอเท็มถัดไปจากปฏิสัมพันธ์ของผู้ใช้
    • โมเดลค้นหาแบบสร้าง: ทำนาย item ID จาก text query
    • ผลลัพธ์:
      • ประสิทธิภาพเฉลี่ยดีขึ้น 16% จากโมเดลแบบงานเดี่ยว (อิง recall@30)
      • บนชุดข้อมูลพอดแคสต์ ประสิทธิภาพการค้นหา +855%, ประสิทธิภาพคำแนะนำ +262%
      • แต่ยังไม่ดีเท่าโมเดลแนะนำและค้นหาแบบเดิม (BM25, SASRec ฯลฯ)

  • 360Brew (LinkedIn)

    • โมเดลเดี่ยวขนาด 150B พารามิเตอร์ รองรับงานจัดอันดับมากกว่า 30 งาน
    • อิงโมเดล Mixtral-8x22B → ทำ continuous pretraining (CPT) → instruction fine-tuning (IFT) → supervised fine-tuning (SFT)
    • นำ natural language interface มาใช้ → ใช้ prompt engineering แทน feature engineering
    • ผลลัพธ์:
      • ได้ประสิทธิภาพเทียบเท่าหรือดีกว่าโมเดลเฉพาะทางเดิม
      • ประสิทธิภาพดีขึ้นบนชุดข้อมูลขนาดใหญ่ (เพิ่มขึ้น 3 เท่า)
      • ประสิทธิภาพกับผู้ใช้ cold start ดีขึ้น → เหนือกว่าโมเดลเดิม

  • UniCoRn (Netflix)

    • จัดการทั้งงานค้นหาและงานแนะนำในโมเดลเดียว
    • ใช้ข้อมูลบริบท เช่น user ID, search query, ประเทศ, source entity
    • ใช้ ฟังก์ชัน context-target และ feature crossing
    • ผลลัพธ์:
      • ประสิทธิภาพคำแนะนำ +10%, ประสิทธิภาพการค้นหา +7%
      • ประสิทธิภาพดีขึ้นจากการ personalization ที่มากขึ้น
      • ยืนยันความสำคัญของประเภทงานและการจัดการ missing value

  • Unified Embeddings (Etsy)

    • รวม embedding แบบอิง Transformer, แบบอิงข้อความ และแบบอิงกราฟ
    • fine-tune โมเดล T5 เพื่อเสริมการจับคู่ระหว่าง query กับสินค้า
    • ใช้ hard negative sampling และ approximate nearest neighbor search(ANN)
    • ผลลัพธ์:
      • conversion rate +2.63%, อัตราการซื้อจาก organic search +5.58%
      • graph embedding มีส่วนช่วยต่อประสิทธิภาพมากที่สุด (+15%)

  • Embedding Long Tail (Best Buy)

    • แก้ปัญหา query แบบ long-tail
    • ใช้โมเดล BERT ภายในที่อิงพฤติกรรมผู้ใช้ → สำหรับเข้ารหัสการค้นหาและสินค้า
    • เสริมข้อมูลด้วย synthetic query ที่สร้างโดย Llama-13B
    • ผลลัพธ์:
      • conversion rate +3%
      • ประสิทธิภาพการจับคู่ระหว่าง query กับสินค้าดีขึ้น (+4.67%)

  • User Behavioral Service (YouTube)

    • แยกโมเดลสร้าง user embedding ออกจากโมเดลแนะนำ
    • สร้าง user embedding แบบ asynchronous → ใช้ caching ความเร็วสูง
    • หากยังไม่มี embedding ตอน request จะคืนค่าว่างก่อนแล้วอัปเดตแบบ asynchronous
    • ผลลัพธ์:
      • ขยายขนาดโมเดลลำดับผู้ใช้ได้โดยควบคุมต้นทุนเพิ่มขึ้น (28.7% → 2.8%)
      • ประสิทธิภาพคำแนะนำโดยรวมดีขึ้น (0.01% ~ 0.40%)

  • Modern Ranking Platform (Zalando)

    • สร้างระบบแบบบูรณาการระหว่างการค้นหาและการเรียกดู
    • ใช้โครงสร้าง candidate generation → ranking → policy layer
    • ใช้ customer embedding แบบ Transformer + vector database
    • ผลลัพธ์:
      • engagement โดยรวม +15%, รายได้ +2.2%
      • หลังนำ embedding ที่ฝึกได้มาใช้ ประสิทธิภาพดีขึ้นเพิ่มเติม

สรุป

  • แม้งานวิจัยช่วงแรกในปี 2023 (การนำ LLM มาใช้กับระบบแนะนำและการค้นหา) จะยังมีไม่มาก แต่ความพยายามล่าสุด โดยเฉพาะผลลัพธ์จากภาคอุตสาหกรรม แสดงให้เห็นความหวังที่มากขึ้น
  • สิ่งนี้ชี้ให้เห็นว่าการสำรวจการ เสริมระบบแนะนำและระบบค้นหาด้วย LLM มี ประโยชน์ในทางปฏิบัติ และสามารถ เพิ่มผลลัพธ์ ได้พร้อมกับลด ต้นทุนและความพยายาม

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-03-24

ความคิดเห็นจาก Hacker News

  • มีการวิเคราะห์ว่าการอัปเดตเกี่ยวกับคำค้นหาใน Spotify ช่วยให้ผู้ใช้สามารถแสดงเจตนาที่ซับซ้อนมากขึ้นได้

    • อย่างไรก็ตาม ยากที่จะตีความว่านี่เป็นการปรับปรุง เพราะผู้ใช้ต้องค้นหามากขึ้นและพิมพ์คำค้นที่ยาวขึ้นเพื่อให้ได้ข้อมูลที่ต้องการ

  • มีหลายทีมที่ใช้ LLM เพื่อเสริมความแข็งแกร่งให้กับคำค้นหาและดัชนีการค้นหา

    • แม้ใช้โมเดลขนาดเล็กและพรอมป์ต์แบบง่าย ก็สามารถแปลงสตริงค้นหาให้เป็น structured query ได้
    • ยังสามารถจัดหมวดหมู่เอกสารหรือใช้แคชได้ด้วย
    • หากไม่ได้ทำสิ่งเหล่านี้ ก็อาจถือเป็นความผิดพลาด

  • น่าสนใจที่ Eugene เผยแพร่งานนี้ทันทีหลังจบคอนเฟอเรนซ์

    • ตามธรรมเนียมแล้ว นี่อาจเป็นงานวิจัยที่นักศึกษาปริญญาเอกใช้เวลาประมาณ 12 เดือนกว่าจะตีพิมพ์
    • จึงสงสัยว่านี่เป็นความสามารถของ Eugene หรือเป็นแนวโน้มใหม่

  • มีการอธิบายว่าทำไมประสบการณ์การใช้งาน Spotify ถึงแย่ลงเมื่อเวลาผ่านไป

  • พอตื่นนอนตอนเช้าก็เริ่มฟังบทความนี้ด้วยโมเดลแปลงข้อความเป็นเสียงทันที

    • มีศัพท์เฉพาะจำนวนมาก ทำให้ผู้เขียนดูฉลาดมาก แต่ไม่ได้สื่อสารข้อมูลอย่างมีประสิทธิภาพ
    • นี่เป็นสิ่งที่พบได้บ่อยในบทความวิชาการ และงานวิจัยของตัวเองก็ไม่ได้เป็นข้อยกเว้น
    • เนื่องจากตนไม่ใช่ผู้เชี่ยวชาญด้าน ML จึงอาจไม่ใช่กลุ่มผู้อ่านเป้าหมาย
    • เลยสงสัยว่าคนอื่นรู้สึกแบบเดียวกันหรือไม่
    • หวังว่าความเห็นนี้จะไม่ดูเป็นลบเกินไป

  • ตัวแปรของ SASRec และ Bert4Rec ถูกฝึกด้วย ID-token และแสดงกฎการสเกลที่คล้ายกับ LLM

    • มีการยกแนวทางของ Meta ขึ้นมาเป็นตัวอย่าง

  • คิดว่าการรวมระบบแนะนำเข้ากับฟอรัมได้กลายเป็นหายนะครั้งใหญ่ต่อสังคม

  • มีข้อสงสัยว่าทำไม PC และสมาร์ตโฟนจึงยังไม่มีเครื่องมือค้นหาแบบ LLM

    • โดยเฉพาะเมื่อข้อมูลในสมาร์ตโฟนถูกเก็บไว้บนคลาวด์ จึงควรให้ฟีเจอร์ที่เป็นประโยชน์กับผู้ใช้ได้ แทนการสแครปข้อมูลเพื่อโฆษณาหรือให้ FBI

  • ดูเหมือนจะเป็นภาพรวมของระบบแนะนำที่ยอดเยี่ยม

    • ประเด็นสำคัญคือ latency เป็นปัญหาหลัก
    • การ fine-tuning อาจนำไปสู่การปรับปรุงครั้งใหญ่และช่วยลด latency ได้
    • มี threshold หรือปัญหาบางอย่างที่ทำให้ต้องเลือกระหว่างการใช้ prompt หรือ fine-tuning

  • น่าสนใจที่งานวิจัยลักษณะนี้ไม่ได้มาจากห้องแล็บวิชาการ