Mistral: เปิดให้เข้าถึง AI endpoint แรกได้ก่อนใคร

 (mistral.ai)
2 คะแนน โดย GN⁺ 2023-12-12 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

เปิดตัวเบต้าแพลตฟอร์มเซอร์วิสใหม่ของ Mistral AI

  • Mistral AI มอบโมเดลสร้างข้อความแบบเปิดที่ทรงพลังสำหรับนักพัฒนา พร้อมวิธีนำไปใช้งานและปรับแต่งได้อย่างมีประสิทธิภาพ
  • วันนี้เริ่มเปิดให้เข้าถึงเบต้าของแพลตฟอร์มเซอร์วิสแรก ที่มีทั้ง chatbot endpoint สามรายการซึ่งสร้างข้อความตามคำสั่งข้อความ และ embedding endpoint
  • แต่ละ endpoint มีจุดแลกเปลี่ยนระหว่างประสิทธิภาพ/ราคาที่แตกต่างกัน

Generative endpoint

  • mistral-tiny และ mistral-small ใช้สองโมเดลที่เปิดเผยอยู่ในปัจจุบัน ส่วน mistral-medium ใช้โมเดลต้นแบบที่กำลังทดสอบในสภาพแวดล้อมการใช้งานจริง
  • โมเดลต่าง ๆ ผสานเทคนิคการจัดแนวที่มีประสิทธิภาพที่สุด เช่น efficient fine-tuning และ direct preference optimization เพื่อสร้างโมเดลที่ผู้ใช้ควบคุมได้ง่ายและใช้งานได้อย่างน่าพอใจ
  • Mistral-tiny รองรับเฉพาะภาษาอังกฤษ, Mistral-small รองรับหลายภาษาและโค้ด, และ Mistral-medium ถูกประเมินว่าเป็นหนึ่งในโมเดลบริการระดับท็อป

Embedding endpoint

  • Mistral-embed เป็นโมเดล embedding ที่ออกแบบโดยคำนึงถึงงานค้นหา และมี embedding dimension เท่ากับ 1024
  • โมเดล embedding นี้ทำคะแนนด้านการค้นหาบน MTEB ได้ 55.26

API specification

  • API ปฏิบัติตามสเปกของอินเทอร์เฟซ chatbot ยอดนิยมที่คู่แข่งเป็นผู้เสนอขึ้นเป็นรายแรก
  • มีไลบรารีไคลเอนต์สำหรับ Python และ Javascript ให้ใช้ query endpoint ได้
  • endpoint รองรับ system prompt เพื่อให้ผู้ใช้ตั้งค่าการกลั่นกรองผลลัพธ์ของโมเดลในระดับที่สูงขึ้นได้

จากการเข้าถึงเบต้าไปสู่การเปิดใช้งานทั่วไป

  • ตั้งแต่วันนี้ ทุกคนก็สามารถลงทะเบียนและใช้งาน API ได้ โดยจะค่อย ๆ เพิ่มความจุของระบบอย่างต่อเนื่อง
  • ทีมธุรกิจสามารถช่วยทำความเข้าใจความต้องการและเร่งกระบวนการเข้าถึงได้
  • ระหว่างที่กำลังทำให้แพลตฟอร์มมีเสถียรภาพจนพร้อมเป็น self-service อย่างเต็มรูปแบบ อาจยังมีส่วนที่ไม่เสถียรอยู่บ้าง

คำขอบคุณ

  • ขอขอบคุณ NVIDIA ที่สนับสนุนการผสาน TensorRT-LLM และ Triton รวมถึงร่วมพัฒนา sparse mixture of experts ที่เข้ากันได้กับ TRT-LLM

ความเห็นของ GN⁺

  • ประเด็นสำคัญที่สุดของบทความนี้คือ Mistral AI ได้นำเสนอทั้งโมเดลสร้างข้อความและโมเดล embedding ใหม่ให้กับนักพัฒนา ทำให้สามารถใช้งานการสร้างข้อความและความสามารถด้าน embedding ที่ดียิ่งขึ้นได้
  • เทคโนโลยีเหล่านี้จะช่วยเร่งความก้าวหน้าของปัญญาประดิษฐ์ และความสามารถในการรองรับหลายภาษาและโค้ดจะขยายโอกาสการประยุกต์ใช้ในตลาดโลกได้อย่างมาก
  • สำหรับนักพัฒนา นี่คือโอกาสที่น่าตื่นเต้นในการสร้างโปรเจกต์และโซลูชันที่สร้างสรรค์ผ่านเครื่องมือและ API ใหม่ ๆ และเป็นข่าวที่ยิ่งเพิ่มความคาดหวังต่ออนาคตของเทคโนโลยี

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-12
ความคิดเห็นจาก Hacker News
  • บริษัทเล็ก ๆ (มีพนักงานราว 30 คน) ได้มูลค่าประเมิน 2 พันล้านดอลลาร์ และสร้างทั้งโมเดล 7B ที่มีประสิทธิภาพดีที่สุดกับโมเดล MOE 7B*8 โมเดลเหล่านี้ให้ประสิทธิภาพระดับโมเดล 70B แต่ต้องใช้พลังประมวลผลสำหรับการอนุมานเพียงระดับโมเดล 14B เท่านั้น สิ่งนี้อาจเป็นภัยคุกคามต่อ OpenAI มากยิ่งกว่าเดิม และด้วยเงินลงทุนล่าสุด ก็น่าจะขยายระบบเพื่อรองรับทราฟฟิกได้ในไม่ช้า พร้อมดึงดูดนักวิจัยระดับแนวหน้าที่ผิดหวังกับปัญหาต่าง ๆ ในอุตสาหกรรมได้
  • โมเดล Mistral-medium เอาชนะ GPT-3.5 และ Gemini Pro ของ Google ในเบนช์มาร์กได้อย่างขาดลอย คาดว่าประสิทธิภาพการใช้งานจริงก็น่าจะน่าประทับใจไม่แพ้ผลเบนช์มาร์ก และการที่มีตัวกรองความปลอดภัยให้เลือกเปิดใช้ได้ก็เป็นข้อดีมากแม้กับแอปพลิเคชันที่ปลอดภัย
  • มีการเปิดเผยราคาของ Mistral แล้ว โดย Mistral-medium อยู่ที่ 8 ดอลลาร์ต่อโทเคนเอาต์พุต 1 ล้านโทเคน และ Mistral-small อยู่ที่ 1.94 ดอลลาร์ ซึ่งเมื่อเทียบกับราคา GPT-3.5 และ GPT-4 ก็ชี้ให้เห็นว่ามีความสามารถในการแข่งขัน
  • เซิร์ฟเวอร์ TextSynth ของ Fabrice Bellard เริ่มรองรับโมเดล Mistral 7B แล้ว โดยเพิ่มฟีเจอร์อย่างการรองรับ CUDA การสุ่มตัวอย่างตามไวยากรณ์ BNF และ JSON schema
  • การแข่งขันคือวิธีที่ทำให้โลกก้าวหน้า ดีใจที่ทั้งผู้เล่นรายเล็กและรายใหญ่ต่างมีโมเดลที่แข่งขันกันได้ น่าเสียดายที่เวลาเผยแพร่เบนช์มาร์กมักมีวิธีทดสอบที่ปรับให้เข้าข้างตัวเอง จึงจำเป็นต้องมีการเปรียบเทียบโมเดลหลักต่าง ๆ อย่างยุติธรรมผ่านโอเพนเบนช์มาร์ก
  • แทบไม่มีการพูดถึงข้อจำกัดด้านขนาดคอนเท็กซ์ของโมเดลเหล่านี้เลย เทคนิค sliding window จำกัดความจำใช้งานจริงไว้ราว 8k โทเคน ซึ่งไม่เพียงพอสำหรับงานจำนวนมาก โมเดลสาย Llama2 ไม่ได้ต้องการการ fine-tune เพียงเพราะจำนวนพารามิเตอร์เท่านั้น แต่ยังเพราะคอนเท็กซ์ที่ให้มามีขนาดเล็กด้วย
  • "เอ็นด์พอยต์ที่เข้าถึงได้แบบ early access" ในความเป็นจริงหมายถึง "รายชื่อรอสำหรับการเข้าถึงเอ็นด์พอยต์ล่วงหน้า" ตอนนี้การเข้าถึง API ยังเป็นแบบเชิญเท่านั้น และจะมีการแจ้งให้ทราบเมื่อสามารถสมัครรับสิทธิ์เข้าถึงโมเดลที่ดีที่สุดได้
  • การเอาชนะ ChatGPT-3.5 ได้ถือเป็นความสำเร็จที่ยอดเยี่ยมจริง ๆ GPT-3.5 ยังไม่เพียงพอสำหรับการใช้งานทั่วไปในชีวิตประจำวัน จึงยิ่งคาดหวังกับ GPT-4 มากขึ้น
  • API ของ Mistral ปฏิบัติตามสเปกของอินเทอร์เฟซแชตยอดนิยมที่คู่แข่งเสนอไว้ เรื่องนี้ทั้งน่าสนใจและชอบมาก
  • Mistral-embed มีโมเดล embedding ขนาด 1024 มิติที่ออกแบบมาโดยคำนึงถึงความสามารถด้านการค้นคืนข้อมูล และทำคะแนนด้าน retrieval ได้ 55.26 บน MTEB ขณะนี้ยังไม่มีข้อมูลว่าโมเดล embedding นี้จะเปิดเป็นโอเพนซอร์สหรือไม่