การสร้างแอปพลิเคชัน LLM สำหรับใช้งานจริงในระดับโปรดักชัน

• การสร้างสิ่งเจ๋ง ๆ ด้วย LLM นั้นทำได้ง่าย แต่การทำให้ถึงระดับโปรดักชันนั้นยากมาก
• บทความที่พาไปดูความท้าทายหลักที่ต้องแก้เพื่อทำให้แอปพลิเคชัน LLM กลายเป็นผลิตภัณฑ์ วิธีผสานหลายงานเข้าใน control flow และวิธีใช้เครื่องมือ รวมถึงกรณีใช้งานที่มีอนาคตสดใส

Part I. ความท้าทายของการนำ prompt engineering ไปสู่ระดับโปรดักชัน

• ความกำกวมของภาษาธรรมชาติ
  • การประเมินพรอมป์ต์
  • การจัดเวอร์ชันพรอมป์ต์
  • การปรับพรอมป์ต์ให้เหมาะสม
• ต้นทุนและเวลาแฝง
  • ต้นทุน
  • เวลาแฝง (Latency)
  • ความเป็นไปไม่ได้ของการวิเคราะห์ต้นทุน+เวลาแฝงสำหรับ LLM
• prompting vs. fine-tuning vs. ทางเลือกอื่น
  • prompt tuning
  • fine-tuning ผ่านการกลั่นความรู้ (Distillation)
  • embeddings + vector database
  • ความเข้ากันได้แบบย้อนหลัง/ไปข้างหน้า

Part 2. ความสามารถในการประกอบงาน (composability)

• แอปพลิเคชันที่ประกอบด้วยหลายงาน
• เอเจนต์ เครื่องมือ และ control flow
• tool vs. plugin
• control flow: แบบลำดับ, แบบขนาน, if, for loop
• control flow ของ LLM agent
• การทดสอบเอเจนต์

Part 3. กรณีใช้งานที่มีอนาคตสดใส

• ผู้ช่วย AI
• แชตบอต
• การเขียนโปรแกรมและเกม
• การเรียนรู้
• Talk-to-your-data
• LLM จะช่วยวิเคราะห์ข้อมูลแทนฉันได้ไหม?
• การค้นหาและคำแนะนำ
• การขาย
• SEO

บทสรุป

• เรายังอยู่ในช่วงเริ่มต้นของแอปพลิเคชัน LLM ทุกอย่างกำลังเปลี่ยนแปลงอย่างรวดเร็ว
  • เมื่อไม่นานมานี้เห็นข้อเสนอหนังสือเกี่ยวกับ LLM แล้วความคิดแรกคือ หนังสือส่วนใหญ่น่าจะล้าสมัยภายในหนึ่งเดือน
  • API เปลี่ยนทุกวัน และมีการค้นพบแอปพลิเคชันใหม่ ๆ อยู่เรื่อย ๆ ขณะที่โครงสร้างพื้นฐานก็ถูกปรับให้เหมาะสมอย่างหนัก
  • การวิเคราะห์ต้นทุนและ latency ควรทำเป็นรายสัปดาห์ และมีการนำศัพท์ใหม่ ๆ เข้ามาใช้อยู่ตลอด
• แต่ไม่ใช่ว่าการเปลี่ยนแปลงเหล่านี้จะสำคัญทั้งหมด
  • งานวิจัยด้าน prompt engineering จำนวนมากชวนให้นึกถึงยุคแรกของ deep learning ที่มีงานนับพันชิ้นอธิบายวิธีต่าง ๆ ในการกำหนดค่าเริ่มต้นของน้ำหนัก
  • กลเม็ดในการปรับพรอมป์ต์คงจะไม่สำคัญนักในระยะยาว
• เมื่อพิจารณาว่า LLM เองก็เก่งพอสมควรในการเขียนพรอมป์ต์ด้วยตัวเอง ใครจะไปรู้ว่าเราจะยังต้องการคนมาคอยปรับพรอมป์ต์จริง ๆ หรือไม่
• ไม่นานมานี้มีคนถามบน Linkedin ว่าควรติดตามข้อมูลล่าสุดของวงการนี้อย่างไร ซึ่งก็มีความเห็นหลากหลาย
  • มองข้าม Hype ไปเสีย (ส่วนใหญ่)
  • อ่านแค่สรุปก็พอ
  • ลองใช้ทุกเครื่องมือ
• แล้วกลยุทธ์ของคุณคืออะไร?

[mnncat]

ฉบับแปล: https://docs.google.com/document/d/…