Mistral AI เปิดให้เข้าถึง AI endpoint รุ่นแรกก่อนใคร

 (mistral.ai)
2 คะแนน โดย GN⁺ 2023-12-12 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Mistral AI เปิดเบต้า la plateforme เพื่อให้นักพัฒนาสามารถ นำโมเดลสร้างข้อความแบบเปิดไปใช้งานจริงและปรับแต่ง ได้
  • ชุดเริ่มต้นประกอบด้วย chat endpoint 3 รายการ และ embedding endpoint 1 รายการสำหรับจัดการคำสั่งข้อความ โดยแต่ละรายการมีจุดสมดุลด้านประสิทธิภาพและราคาแตกต่างกัน
  • mistral-tiny และ mistral-small อิงจากโมเดลเปิดสาธารณะ ส่วน mistral-medium ให้บริการ โมเดลต้นแบบ ที่กำลังทดสอบในสภาพแวดล้อมการใช้งานจริง
  • API ปฏิบัติตามสเปกอินเทอร์เฟซแชตที่ใช้กันอย่างแพร่หลาย และรองรับไคลเอนต์ Python·JavaScript รวมถึงการปรับผลลัพธ์ผ่าน system prompt
  • ทุกคนสามารถลงทะเบียนเพื่อใช้ API ได้ แต่ความจุจะค่อย ๆ ขยาย และอาจยังมี ส่วนที่ไม่สมบูรณ์ อยู่จนกว่าจะเป็นบริการแบบ self-service เต็มรูปแบบ

la plateforme เบต้าและโครงสร้าง endpoint

  • Mistral AI ให้บริการโมเดลสร้างข้อความแบบเปิดแก่นักพัฒนา พร้อมวิธีนำไปใช้งานจริงและปรับแต่งสำหรับโปรดักชัน
  • บริการแพลตฟอร์มแรก เปิดเป็นเบต้าแล้ว โดยโครงสร้างเริ่มต้นยังเรียบง่าย
    • chat endpoint 3 รายการ สำหรับการสร้างผลลัพธ์จากคำสั่งข้อความ
    • embedding endpoint 1 รายการ ที่คำนึงถึงการนำไปใช้กับงานค้นหา
    • แต่ละ endpoint มีจุดแลกเปลี่ยนด้านประสิทธิภาพ/ราคาต่างกัน

  • endpoint สำหรับการสร้าง

    • mistral-tiny
      • เป็น endpoint ที่คุ้มค่าต้นทุนมากที่สุด และขณะนี้ให้บริการ Mistral 7B Instruct v0.2
      • รองรับเฉพาะภาษาอังกฤษ และมีคะแนน MT-Bench 7.6
      • สามารถดาวน์โหลดโมเดล instruction-tuned ได้จาก Hugging Face
    • mistral-small
      • ให้บริการ Mixtral 8x7B ซึ่งเป็นโมเดลล่าสุด
      • รองรับภาษาอังกฤษ ฝรั่งเศส อิตาลี เยอรมัน สเปน และโค้ด
      • มีคะแนน MT-Bench 8.3
      • ดูรายละเอียดโมเดลได้จากบล็อกโพสต์เกี่ยวกับ Mixtral
    • mistral-medium
      • เป็น endpoint ที่ให้คุณภาพสูงสุด และขณะนี้ให้บริการโมเดลต้นแบบที่กำลังทดสอบในสภาพแวดล้อมการใช้งานจริง
      • ตามเกณฑ์มาตรฐานทั่วไป ถือเป็นหนึ่งในโมเดลระดับบนที่มีให้ใช้งานในตอนนี้
      • รองรับภาษาอังกฤษ ฝรั่งเศส อิตาลี เยอรมัน สเปน และโค้ด
      • มีคะแนน MT-Bench 8.6

  • การจัดแนวโมเดลและ embedding

    • เพื่อให้โมเดลที่ทำตามคำสั่งควบคุมได้ง่ายขึ้นและใช้งานสะดวกขึ้น ได้ผสาน efficient fine-tuning กับ direct preference optimization
    • โมเดลถูก pretrain ด้วยข้อมูลที่ดึงมาจากเว็บแบบเปิด ก่อนผ่านการ instruction fine-tuning ที่อิงการทำ annotation
    • mistral-embed คือ embedding endpoint ที่ให้บริการ embedding ขนาด 1024 มิติ
    • โมเดล embedding ถูกออกแบบโดยคำนึงถึงฟังก์ชันการค้นหา และทำคะแนนค้นหาบน MTEB ได้ 55.26

การเข้าถึง API และการดำเนินงานช่วงเบต้า

  • API ปฏิบัติตามสเปกอินเทอร์เฟซแชตที่ใช้กันอย่างแพร่หลาย
  • สามารถเรียกใช้ endpoint ได้ผ่านไลบรารีไคลเอนต์ Python และ JavaScript
  • หากการควบคุมผลลัพธ์ในแอปพลิเคชันมีความสำคัญ สามารถปรับการตอบของโมเดลให้เข้มขึ้นได้ด้วย system prompt
  • ทุกคนสามารถลงทะเบียนเพื่อใช้ API ได้ และ Mistral AI กำลังขยายความจุอย่างค่อยเป็นค่อยไป
  • ทีมธุรกิจสามารถช่วยตรวจสอบความต้องการของผู้ใช้และช่วยเร่งการเข้าถึงได้
  • จนกว่าแพลตฟอร์มจะเสถียรในสถานะ self-service เต็มรูปแบบ อาจยังมี ส่วนที่ไม่สมบูรณ์ อยู่
  • NVIDIA สนับสนุนการผสานรวม TensorRT-LLM และ Triton รวมถึงงานทำให้ sparse mixture of experts เข้ากันได้กับ TRT-LLM

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-12
ความคิดเห็นจาก Hacker News

  • แปลกใจที่ข่าวนี้ไม่ได้ถูกปักไว้บนสุดของ HN ตลอดทั้งวัน
    บริษัทเล็ก ๆ ที่ดูเหมือนมีคนราว 30 คนได้รับ มูลค่าประเมิน 2 พันล้านดอลลาร์ และเปิดตัว โมเดล 7B×8 MoE ที่เป็นโมเดล 7B ที่มีประสิทธิภาพดีที่สุด แถมให้ประสิทธิภาพระดับ 70B แต่ต้นทุน inference อยู่ระดับ 14B
    ดูเหมือนอาจเป็นภัยคุกคามที่มีศักยภาพต่อ OpenAI มากกว่า Google หรือ Anthropic ด้วยซ้ำ จากเงินลงทุนก้อนใหญ่ล่าสุด น่าจะขยายไปรองรับทราฟฟิกในระดับสมเหตุสมผลได้ในอนาคตอันใกล้ และดึงดูดนักวิจัยชั้นนำที่เบื่อกับการโอ้อวดและดราม่าที่ปรากฏเต็มหน้าอุตสาหกรรมได้

    • เพราะก่อนหน้านี้มีเธรดใหญ่ ๆ อยู่แล้วค่อนข้างหลายเธรด
      Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - ธันวาคม 2023, 272 ความคิดเห็น
      Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - ธันวาคม 2023, 69 ความคิดเห็น
      Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - ธันวาคม 2023, 221 ความคิดเห็น
      Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - ธันวาคม 2023, 30 ความคิดเห็น
      French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - ธันวาคม 2023, 76 ความคิดเห็น
      Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - ธันวาคม 2023, 236 ความคิดเห็น
      แม้จะไม่ใช่ข่าวเดียวกันเป๊ะ ๆ แต่ทิศทางการอภิปรายโดยรวมคล้ายกันมาก จึงมองได้ว่าทั้งหมดหรือส่วนใหญ่เป็น โพสต์กึ่งซ้ำ
    • เป็นบริษัทที่น่าประทับใจที่สุดอย่างชัดเจนในบรรดาบริษัทที่เกิดจากกระแส AI ตอนนี้
      ในเวลาประมาณ 6 เดือนก็ปล่อย จุดอ้างอิงของโมเดล 7B ออกมา และกำลังไต่ขึ้นไปสู่สเกลที่ใหญ่กว่าอย่างรวดเร็ว
      ตอนรอบลงทุนเดือนมีนาคม ผมเคยหัวเราะว่าเป็นสัญญาณไฮป์เกินจริง เพราะได้ 300 ล้านดอลลาร์ด้วยทีม 3 คนกับไอเดียเท่านั้น แต่เห็นชัดว่าผมไม่รู้รายละเอียด การลงมือทำยอดเยี่ยมจริง ๆ
      ดูเหมือนจะกวาดทุก use case ที่ไม่จำเป็นต้องใช้ประสิทธิภาพระดับ GPT-4 และอาจเล็งไปถึงพื้นที่ของโมเดลขนาดใหญ่ในไม่ช้า
    • อ่านบล็อกโพสต์กับหน้าเว็บหลักแล้วก็ยังค่อนข้างยากจะเข้าใจว่านี่คืออะไรกันแน่
      ดังนั้นคงมีแต่คนที่คุ้นเคยกับ AI พอสมควรเท่านั้นที่จะมองเห็นความเกี่ยวข้อง ถึงอย่างนั้นคำอธิบายข้างบนก็ช่วยได้มากจริง ๆ
    • Mistral อยู่ในฝรั่งเศส และตอนนี้ EU กำลังมีบรรยากาศเหมือนสาดน้ำเย็นใส่เรื่อง กฎระเบียบ AI ระยะยาวน่าจะเป็นปัจจัยลบ
    • การศึกษาด้านวิศวกรรมและวิทยาการคอมพิวเตอร์ของฝรั่งเศสเน้นคณิตศาสตร์กับทฤษฎีอย่างมาก ซึ่งเป็น ข้อได้เปรียบใน AI

  • ถ้า benchmark แปลเป็นประสิทธิภาพจริงได้ ก็น่าประทับใจมาก [1]
    mistral-medium เหนือกว่า GPT-3.5 และ Gemini Pro ซึ่งเป็นโมเดลสาธารณะตัวท็อปปัจจุบันของ Google อย่างมากใน benchmark เปรียบเทียบที่มีให้ใช้โดยรวม: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
    [1] ถ้า Mistral 7B เป็นเกณฑ์อ้างอิง คาดว่าช่องว่างของประสิทธิภาพจริงจะยิ่งมากกว่านี้ การที่ safety filter เลือกเปิดใช้ได้ก็เป็นข้อได้เปรียบใหญ่แม้แต่ในแอปพลิเคชันที่ปลอดภัย

    • ถ้า AI รุ่นใหญ่ตัวถัดไปของ Google ถูกบริษัทเล็ก ๆ ที่มีทรัพยากรน้อยกว่ามากแซงไปแล้ว ก็คงเป็นเรื่องขมขื่นไม่น้อยสำหรับ Google
    • คะแนน Winogrande สูงกว่า GPT-4 น่าแปลกใจ เพราะตัวชี้วัดอื่น ๆ ดูใกล้กับ GPT-3 มากกว่า
    • ผมว่า Gemini Pro อาจไม่ได้ “ใช้งานได้จริง” ขนาดนั้น
      ผมไม่เชื่อ benchmark เพื่อการประชาสัมพันธ์จนกว่าโมเดลจะถูกเปิดให้ใช้จริง ความผันผวนมันสูงมาก ขึ้นอยู่กับว่าก่อนเปิดตัวต้องลดประสิทธิภาพลงแค่ไหนเพราะประเด็นด้านความปลอดภัย
    • ถ้าเปิดโมเดลใหม่เป็น โอเพนซอร์ส ก็น่าจะน่าสนใจมาก
    • ผมดูวิดีโอหนึ่งมา และ Mixtral เอง ทำงานหลายประเภทได้ดีจนน่าทึ่ง มีบางด้านที่ GPT-4 ก็ไม่ได้ทำได้ดีเท่านั้นเสมอไป

  • https://docs.mistral.ai/platform/pricing
    มีการเปิดเผยราคาด้วย
    ต่อโทเค็นเอาต์พุต 1 ล้านโทเค็น Mistral-medium อยู่ที่ 8 ดอลลาร์, Mistral-small 1.94 ดอลลาร์, gpt-3.5-turbo-1106 2 ดอลลาร์, gpt-4-1106-preview 30 ดอลลาร์, gpt-4 60 ดอลลาร์ และ gpt-4-32k 120 ดอลลาร์
    ราคานี้ดูเหมือนเป็นสัญญาณว่า Mistral ค่อนข้างมั่นใจว่า mistral-medium ดีกว่า gpt-3.5 อย่างมีนัยสำคัญ

    • สงสัยว่ามีการประเมิน ความต้องการพลังงาน ของโมเดลเหล่านี้หรือไม่
      ลองคำนวณคร่าว ๆ แล้ว การ inference โมเดล 30B บน GTX 4090 น่าจะได้ราว 30 โทเค็นต่อวินาที [1] หรือประมาณ 100,000 โทเค็นต่อชั่วโมง
      ถ้าระบบแบบนี้ใช้ไฟราว 1kW ก็จะเท่ากับประมาณ 10kWh ต่อ 1 ล้านโทเค็น
      เมื่อดูจากค่าไฟในปัจจุบัน ผมคิดว่าโมเดล 30B คงลดให้ต่ำกว่า 2–4 ดอลลาร์ต่อ 1 ล้านโทเค็นได้ยาก
      [1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
    • หากพิจารณาโทเค็นอินพุตด้วย โดยรวมแล้วน่าจะใกล้เคียงประมาณ 5.25 ยูโร เทียบกับ 1.5 ยูโร ต่อ 1 ล้านโทเค็น
      Mistral-small ดูเหมือนเป็นโมเดลที่แข่งขันกับ gpt-3.5 โดยตรงที่สุด และราคาถูกกว่า อยู่ที่ประมาณ 1.2 ยูโรต่อ 1 ล้านโทเค็น
      หมายเหตุ: สมมติว่าโทเค็นอินพุตและเอาต์พุตมีน้ำหนักเท่ากัน และไม่เห็นราคาที่เป็นดอลลาร์
    • ตอนนี้ยังไม่ปลอดภัยที่จะตั้งสมมติฐานแบบนั้น เพราะยังเป็นการเปิดให้ใช้แบบจำกัด ซึ่งอ่านได้ว่าแทบจะเป็นแบบเชิญเท่านั้น ต้องรอให้มี การเปิดให้ใช้ทั่วไป ในระดับหนึ่งก่อนจึงจะทดสอบและตรวจสอบได้
    • สงสัยว่า Mistral กับ GPT ใช้ tokenizer ตัวเดียวกันหรือไม่
    • medium ดูเหมือนตั้งใจจะแข่งกับ Claude ของ Anthropic มากกว่าผลิตภัณฑ์ของ OpenAI
      https://www-files.anthropic.com/production/images/model_pric...

  • คำว่า “endpoint พร้อมให้ใช้งานแบบ early access” จริง ๆ แล้วหมายถึง “มี waitlist สำหรับ early access ของ endpoint ที่ไม่รู้ว่ายาวแค่ไหน”
    เมื่อพยายามเข้าใช้งาน จะขึ้นว่า “Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.”

    • จากที่การยืนยันอีเมลเสียอยู่หลายรูปแบบในช่วงหนึ่งชั่วโมงที่ผ่านมา ดูเหมือนว่าพวกเขาไม่ได้เตรียมรับการประชาสัมพันธ์ไว้ดีเท่าที่คิด

  • “Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
    สงสัยว่ามีข้อมูลหรือไม่ว่า embedding model นี้เป็นโอเพนซอร์ส หรือมีแผนจะเปิดเป็นโอเพนซอร์สในอนาคตหรือไม่

  • “Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
    ที่มา: https://twitter.com/yupiop12/status/1734137238177698106

  • น่าสนใจที่หลายแพลตฟอร์มอย่าง Lemonfox.ai เสนอ โมเดล fine-tuned ของ Mistral ในราคาที่ต่ำกว่า
    พวกเขาประกาศ Mistral 8x7B API ไปแล้วด้วย ถ้าต้องการทำรายได้ ก็ทำให้สงสัยว่าในอนาคตจะยังเปิดโมเดลอย่างเวอร์ชัน medium เป็นโอเพนซอร์สต่อไปหรือไม่

    • ถ้าไม่มี การเปิดเผย weights ก็สงสัยว่าทำไมผู้คนควรให้ความสนใจ พอถึงเวลาที่มันแข่งขันกับ GPT-4 ได้ ก็มีโอกาสสูงว่า GPT-5 จะออกมาแล้ว

  • บังเอิญเห็นว่าเซิร์ฟเวอร์ TextSynth ของ Fabrice Bellard เพิ่งรองรับ โมเดล Mistral 7B แล้ว
    “2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
    “mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
    https://bellard.org/ts_server/

  • “Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
    น่าสนใจ โมเดลนี้เหนือกว่า ChatGPT 3.5 ไม่แน่ใจว่าเป็นโมเดลประเภทใด และไม่ใช่โอเพนซอร์ส

    • อ้อ ถ้าอย่างนั้นตัวที่ใช้ใน ollama คงเป็นเวอร์ชันที่เรียกว่า tiny
      “Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”