Llama Stack 0.21 เปิดตัวแล้ว - รองรับ Llama 4

• Llama Stack ของ Meta คือเฟรมเวิร์กที่ทำให้องค์ประกอบหลักสำหรับแอปพลิเคชัน Generative AI เป็นมาตรฐาน
• มอบเลเยอร์ API แบบรวมศูนย์โดยอิงจากอิมพลีเมนเทชันของผู้ให้บริการหลายราย
• รับประกัน ความสม่ำเสมอของประสบการณ์นักพัฒนา เมื่อต้องย้ายจากสภาพแวดล้อมพัฒนาไปสู่โปรดักชัน
• องค์ประกอบหลัก:
  • API แบบรวมสำหรับ Inference, RAG, Agent, Tool, Safety, Evals, Telemetry เป็นต้น
  • รองรับสภาพแวดล้อมที่หลากหลาย (โลคัล, on-premise, คลาวด์, โมบายล์) ด้วย สถาปัตยกรรมปลั๊กอิน
  • เริ่มต้นได้อย่างรวดเร็วและเสถียรผ่าน distribution ที่ผ่านการตรวจสอบแล้ว
  • มีอินเทอร์เฟซสำหรับนักพัฒนาหลากหลายแบบ เช่น CLI และ SDK (Python, Node.js, iOS, Android)
  • มีตัวอย่างแอปพลิเคชันระดับโปรดักชันให้ใช้งาน

วิธีการทำงานของ Llama Stack

• Llama Stack ประกอบด้วย เซิร์ฟเวอร์ + client SDK
  • เซิร์ฟเวอร์สามารถดีพลอยได้ในหลายสภาพแวดล้อม เช่น โลคัล, on-premise, คลาวด์
  • client SDK รองรับ Python, Swift, Node.js, Kotlin เป็นต้น

รายชื่อ client SDK

• Python: llama-stack-client-python
• Swift: llama-stack-client-swift
• Node.js: llama-stack-client-node
• Kotlin: llama-stack-client-kotlin

อิมพลีเมนเทชันของ Llama Stack ที่รองรับ

Inference API

• รองรับผู้ให้บริการด้าน Inference ทั้งแบบโฮสต์และโลคัลที่หลากหลาย
  • Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini เป็นต้น

Vector IO API

• มีอินเทอร์เฟซสำหรับเวกเตอร์สโตร์
• อิมพลีเมนเทชันที่รองรับ:
  • FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate เป็นต้น

Safety API

• ช่วยรับประกันความปลอดภัยของคำตอบจาก AI เช่น การตรวจสอบพรอมป์ต์และโค้ด
• อิมพลีเมนเทชันที่รองรับ:
  • Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock เป็นต้น

ทรัพยากรสำหรับนักพัฒนา

• หากต้องการเริ่มต้นอย่างรวดเร็ว: Quick Start
• หากต้องการร่วมพัฒนา: Contributing

Llama Stack เป็นเฟรมเวิร์กอเนกประสงค์ที่ออกแบบมาเพื่อช่วยให้นักพัฒนาสามารถผสานรวมและดีพลอยเทคโนโลยี AI ที่หลากหลายได้อย่างง่ายดาย และรองรับสภาพแวดล้อมกับภาษาที่หลากหลายอย่างกว้างขวาง