- เกือบทุกบริษัทที่ Sequoia ลงทุนกำลังนำ LLM อย่าง ChatGPT ไปใช้ในผลิตภัณฑ์
- จากการสำรวจบริษัทต่าง ๆ ในเครือข่ายของตน ได้สรุป AI stack ออกมาเป็น 2 แบบ
LLM API Stack
- LLM APIs : OpenAI, Anthropic, Cohere
- Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
- Frameworks: LangChain, LlamaIndex, Anarchy
- Text-To-Speech: Resemble.AI, ElevenLabs, Wellsaid
- Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks
Custom Model Training / Tuning Stack
- Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
- Model Hub: Hugging Face, Replicate
- Frameworks: PyTorch, TensorFlow
- Experimentation: Weights & Biases
- Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs
- Hosting: Replicate, HuggingFace
ประเด็นสำคัญ
- บริษัทส่วนใหญ่กำลังสร้าง LLM เข้าไปในผลิตภัณฑ์
- มุ่งเน้นที่ language model API, การค้นหา และ orchestration มากขึ้น โดยการใช้โอเพนซอร์สเพิ่มขึ้น
- บริษัทต่าง ๆ ต้องการปรับแต่ง language model ให้เหมาะกับบริบทของตนเอง
- ตอนนี้ดูเหมือนว่า LLM API stack กับ model training stack จะแยกจากกัน แต่จะค่อย ๆ รวมเข้าหากัน
- stack กำลังเป็นมิตรกับนักพัฒนามากขึ้นเรื่อย ๆ
- หากต้องการให้ language model ถูกนำไปใช้ได้อย่างเต็มรูปแบบ ต้องเพิ่มความน่าเชื่อถือของ language model (คุณภาพ, ความเป็นส่วนตัวของข้อมูล, ความปลอดภัย)
- แอปพลิเคชัน language model จะกลายเป็นแบบ multimodal มากขึ้นเรื่อย ๆ
- ยังอยู่ในช่วงเริ่มต้นมาก
3 ความคิดเห็น
เข้าใจสถานการณ์ปัจจุบันของสภาพแวดล้อมการพัฒนาได้ดีเลยครับ
แต่ในกรณีของในประเทศเรา ตอนนี้อยู่ในระดับไหนกันบ้างครับ?
ดูเหมือนว่า Seaviate ในรายการ Vector DB จะเป็นการพิมพ์ผิดของ Weaviate ซึ่งเป็นเวกเตอร์ดาต้าเบสนะครับ!
รีบแก้ไขแล้วครับ 555