Brave Leo เปลี่ยนมาใช้ ‘Mixtral 8x7B’ เป็นค่าเริ่มต้น

 (brave.com)
1 คะแนน โดย GN⁺ 2024-01-29 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ตั้งแต่ Brave เดสก์ท็อปเบราว์เซอร์ v1.62 เป็นต้นไป LLM เริ่มต้นของ Leo ผู้ช่วย AI บนเบราว์เซอร์ที่เน้นความเป็นส่วนตัว ถูกเปลี่ยนเป็น Mixtral 8x7B
  • Mixtral 8x7B เป็น โอเพนซอร์ส LLM ที่ Mistral AI เปิดตัวในเดือนธันวาคม และด้วยความเร็ว ประสิทธิภาพ รวมถึงความเป็นโมเดลแบบเปิดที่สอดคล้องกับทิศทางผลิตภัณฑ์ของ Brave จึงถูกผนวกรวมเข้ากับ Leo
  • Brave อธิบายว่า Mixtral 8x7B มีผลงานเหนือกว่า ChatGPT 3.5, Claude Instant และ Llama 2 บนเกณฑ์ของ LMSYS Chatbot Arena Leaderboard และยังแสดงการปรับปรุงด้านการลดอาการหลอนของโมเดลและอคติบน BBQ benchmark
  • ทั้ง Leo ฟรีและ Premium ราคา 15 ดอลลาร์ต่อเดือน ใช้ Mixtral 8x7B เป็นค่าเริ่มต้น แต่เวอร์ชันฟรีมีข้อจำกัดด้านการใช้งานที่เข้มงวดกว่า ส่วน Premium ให้โควตาที่สูงกว่า
  • Leo ประมวลผลคำขอแบบไม่ระบุตัวตนผ่าน reverse proxy ไม่เก็บบทสนทนาหรือนำไปใช้ฝึกโมเดล และใช้งานได้จากแถบที่อยู่หรือไซด์บาร์โดยไม่ต้องมีแอปแยก

โมเดลเริ่มต้นของ Leo เปลี่ยนเป็น Mixtral 8x7B

  • Brave ได้เปลี่ยนโมเดลภาษาขนาดใหญ่เริ่มต้นของ Leo เป็น Mixtral 8x7B พร้อมอัปเดตเดสก์ท็อปเบราว์เซอร์ v1.62
  • Leo คือ ผู้ช่วย AI บนเบราว์เซอร์ที่เน้นความเป็นส่วนตัว ของ Brave ที่ช่วยให้ใช้งานความสามารถ AI ได้โดยตรงภายในเบราว์เซอร์
  • นอกจากการเปลี่ยนโมเดลแล้ว อัปเดตครั้งนี้ยังรวมถึงการเริ่มต้นใช้งานที่ชัดเจนขึ้น การควบคุมบริบท รูปแบบอินพุตและคำตอบ และการปรับปรุง UI โดยรวม

เหตุผลที่เลือก Mixtral 8x7B

  • Mixtral 8x7B คือ โอเพนซอร์ส LLM ที่ Mistral AI เปิดตัวในเดือนธันวาคม และได้รับการใช้งานเพิ่มขึ้นอย่างรวดเร็วในชุมชนนักพัฒนาเพราะความเร็วและประสิทธิภาพ
  • ตาม LMSYS Chatbot Arena Leaderboard โมเดลนี้แสดงประสิทธิภาพเหนือกว่า ChatGPT 3.5, Claude Instant และ Llama 2
  • ตาม BBQ benchmark ยังมีการปรับปรุงในด้าน การลดอาการหลอนของโมเดลและอคติ
  • ความสามารถหลักมีดังนี้
    • จัดการ บริบท ที่ใหญ่ขึ้น
    • โต้ตอบได้ในภาษาอังกฤษ ฝรั่งเศส เยอรมัน อิตาลี และสเปน
    • สร้างโค้ดได้

การใช้ Mixtral ภายในผลิตภัณฑ์ของ Brave

  • Brave ใช้ Mixtral อยู่แล้วใน Code LLM ซึ่งเป็นฟีเจอร์สำหรับคำถามด้านโปรแกรมมิงใน Brave Search
  • ประสิทธิภาพของ Mixtral และ ความเป็นโอเพนซอร์ส สอดคล้องกับแนวทางของ Brave ที่สนับสนุนโมเดลแบบเปิดและชุมชนโอเพนซอร์ส
  • Brian Bondy ผู้ร่วมก่อตั้งและ CTO ของ Brave กล่าวว่า Leo ได้รับการยอมรับจากผู้ใช้ฟรีหลายหมื่นรายและสมาชิกแบบชำระเงิน และคาดว่าจะได้รับการยอมรับมากยิ่งขึ้นเมื่อเพิ่ม Mixtral เข้ามา
  • Arthur Mensch ซีอีโอของ Mistral AI ประเมินในเชิงบวกที่ Mixtral ถูกใช้ใน CodeLLM ของ Brave Search และ Brave Leo

ตัวเลือกโมเดลสำหรับฟรีและ Premium

  • Leo สามารถเลือกใช้หลายโมเดลได้ตามความต้องการและงบประมาณ
  • Mixtral 8x7B ถูกตั้งเป็น LLM เริ่มต้นทั้งในเวอร์ชันฟรีและ Premium
  • ทั้งสองแพ็กเกจยังรองรับ Claude Instant ของ Anthropic และ Llama 2 13B ของ Meta
  • เงื่อนไขการใช้งานของ Leo ฟรีมีดังนี้
    • Mixtral 8x7B และ Claude Instant มีข้อจำกัดด้านการใช้งานที่เข้มงวด
    • Llama 2 13B มีข้อจำกัดด้านการใช้งานที่สูงกว่า
    • เมื่อถึงขีดจำกัดการใช้งานของ Mixtral แล้ว สามารถกลับไปใช้ Llama 2 ซึ่งเป็นประสบการณ์ Leo แบบก่อนหน้า เพื่อใช้งาน AI ต่อได้
  • Leo Premium มีราคา 15 ดอลลาร์ต่อเดือน และให้ Mixtral 8x7B, Claude Instant และ Llama 2 13B พร้อมข้อจำกัดการใช้งานที่สูงกว่า

แนวทางด้านความเป็นส่วนตัว

  • แชตของ Leo ถูกออกแบบโดยยึดหลัก ความเป็นส่วนตัว การไม่ระบุตัวตน และความปลอดภัย
  • แชตจะไม่ถูกบันทึก ไม่ถูกนำไปใช้ฝึกโมเดล และไม่ต้องมีบัญชีหรือการล็อกอินเพื่อใช้งาน
  • กลไกปกป้องความเป็นส่วนตัวมีดังนี้
    • reverse proxy: คำขอทั้งหมดถูกพร็อกซีผ่านเซิร์ฟเวอร์ที่ทำให้ไม่ระบุตัวตน เพื่อไม่ให้เชื่อมโยงคำขอกับที่อยู่ของผู้ใช้ได้
    • ลบทันทีหลังตอบกลับ: คำตอบของ Leo จะถูกทิ้งทันทีหลังสร้างเสร็จ และบทสนทนาไม่ถูกเก็บไว้บนเซิร์ฟเวอร์ของ Brave
    • ไม่เก็บตัวระบุ: ไม่เก็บตัวระบุอย่างเช่น IP address ที่อาจเชื่อมโยงกับผู้ใช้ได้
    • ไม่มีการเก็บรักษาโดยผู้ให้บริการภายนอก: โมเดล AI หรือผู้ให้บริการโมเดลภายนอกจะไม่เก็บข้อมูลส่วนบุคคล
    • ไม่ต้องมีบัญชี: ใช้งาน Leo ได้โดยไม่ต้องสร้างบัญชี Brave
    • โทเคนสมัครสมาชิกที่เชื่อมโยงกลับไม่ได้: เมื่อสมัคร Leo Premium จะยืนยันการสมัครด้วยโทเคนที่ไม่สามารถเชื่อมโยงข้อมูลการซื้อกับการใช้งานผลิตภัณฑ์ได้

วิธีใช้งานและขอบเขตการให้บริการ

  • Leo ฝังอยู่ในเบราว์เซอร์ จึงใช้งานได้โดยไม่ต้องติดตั้งแอปหรือส่วนขยายเพิ่มเติม
  • ผู้ใช้ Brave บนเดสก์ท็อปสามารถพิมพ์คำถามในแถบที่อยู่ แล้วคลิก “Ask Leo” หรือเปิด Leo จาก Brave Sidebar ได้
  • เข้าถึงความสามารถ AI ได้ผ่านไซด์บาร์แบบแชตข้างหน้าเว็บหรือผ่านแถบที่อยู่
  • ในบริบทของหน้าเว็บ รองรับงานต่อไปนี้
    • สรุปแบบเรียลไทม์ ของหน้าเว็บหรือวิดีโอ
    • ตอบคำถามเกี่ยวกับเนื้อหา
    • สร้างเนื้อหาใหม่
    • แปลหน้าเว็บ
    • วิเคราะห์หน้าเว็บ
    • เขียนประโยคใหม่
    • ช่วยเขียนโค้ด
  • Leo เปิดให้ผู้ใช้ Brave เดสก์ท็อปใช้งานมาตั้งแต่เดือนพฤศจิกายน โดยเวอร์ชันนั้นคือ 1.60
  • Leo สำหรับ Android และ iOS จะเปิดให้ใช้งานในเร็ว ๆ นี้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-01-29
ความคิดเห็นจาก Hacker News

  • หากต้องการ รัน Mixtral 8x7B แบบโลคัล ก็ใช้ llama.cpp ได้ และใช้ร่วมกับไลบรารี/อินเทอร์เฟซที่รองรับอย่าง text-generation-webui พร้อม https://huggingface.co/TheBloke/Nous-Hermes-2-Mixtral-8x7B-S... ได้
    แม้แต่เวอร์ชัน quantization 2-bit ที่เล็กที่สุดก็ยังต้องใช้ RAM 20GB และสามารถ offload ไปยัง VRAM ของ GPU 4090 ที่แรงพอได้
    เวอร์ชัน quantization 4-bit เป็นโมเดลที่ใหญ่ที่สุดที่พอยัดลงเครื่อง 32GB ได้แบบเฉียด ๆ และใช้ราว 29~31GB
    6-bit ใช้ 41GB, 8-bit ใช้ 52GB จึงต้องมีระบบ 64GB และถ้าจะ offload โมเดลความแม่นยำสูงกว่านี้ไปยัง VRAM ก็ต้องใช้ GPU หลายตัวที่มี shared memory
    เคยลองใช้โมเดล 7B กับ 13B มาแล้ว แต่ยังไม่ได้ทดลองโมเดลนี้หรือโมเดลขนาดใหญ่อื่น ๆ

    • ถ้าต้องการประสิทธิภาพด้านโค้ดมากขึ้น ก็อาจลอง fine-tune dolphin-mixtral ได้: https://huggingface.co/TheBloke/dolphin-2.7-mixtral-8x7b-GGU...
    • แทนที่จะใช้หลาย GPU เครื่อง Apple Silicon ที่แรงพอก็อาจเอาอยู่
      ลองใช้ dolphin mixtral 4-bit บน MacBook M3 RAM 36GB แล้ว พบว่า inference เร็วมาก
    • แบบ 2-bit ค่อนข้างแย่พอสมควร เลยไม่ค่อยแนะนำสำหรับงานจริงจัง
    • ชอบ koboldcpp มากกว่า llama.cpp
      เพราะมันทำให้รันโมเดลที่ใหญ่กว่า VRAM โดยแบ่งระหว่าง GPU/CPU ได้ง่าย
    • เวลาพูดถึงความต้องการหน่วยความจำ ควรดู ความยาว sequence ไปพร้อมกันด้วย
      Mixtral รองรับ 32,000 โทเค็น ดังนั้นส่วนนี้อาจกินสัดส่วนหน่วยความจำค่อนข้างมาก

  • Brave น่าชื่นชมเพราะฟีเจอร์นี้และฟีเจอร์ด้านความเป็นส่วนตัวอื่น ๆ
    ใช้วิธี unlinkable subscription token คือเมื่อสมัคร Leo Premium จะมีการออกโทเค็นสำหรับยืนยันการสมัครตอนใช้งาน Leo และ Brave จะไม่สามารถเชื่อมข้อมูลการชำระเงินเข้ากับประวัติการใช้ผลิตภัณฑ์ได้
    แม้แต่อีเมลที่ใช้สร้างบัญชีก็ไม่ได้เชื่อมโยงกับการใช้งาน Leo ในชีวิตประจำวัน ถือเป็นแนวทาง credential แบบ private ที่ค่อนข้างไม่เหมือนใคร

    • เจ๋งมากและอยากลองใส่ในแอปของตัวเองบ้าง
      สงสัยว่ามันทำงานอย่างไรแบบละเอียดโดยไม่ใช้ foreign key ถ้าใครรู้ก็อยากฟัง

  • เหมือนจะพลาดตอนประกาศ Leo ครั้งแรกไป แต่น่าสนใจดี และชอบที่ ออกแบบโดยคำนึงถึงความเป็นส่วนตัว
    จุดที่ถูกใจคือบอกว่าไม่ได้เก็บประวัติแชต

    • แต่ไม่มีทางตรวจสอบคำกล่าวอ้างนั้นได้
      ก็เหมือนกับที่ไม่มีทางตรวจสอบคำกล่าวอ้าง no-log ของบริการ VPN
    • การไว้ใจ Brave เป็นเรื่องโง่
      https://www.spacebar.news/p/stop-using-brave-browser

  • สงสัยว่ามี ผู้ให้บริการ API สำหรับ Mixtral เจ้าไหนที่ดีบ้าง
    รู้จักแค่ OctoAI ซึ่งก็ดูโอเค แต่ก็อยากรู้ทางเลือกอื่นด้วย

    • บริษัทที่สร้างโมเดลก็มีแพลตฟอร์มของตัวเอง และใช้โมเดลนี้รวมถึงโมเดลอื่นผ่าน API ได้: https://console.mistral.ai/
    • เพิ่งเจอ Groq และเขาบอกว่าได้ 485.08 โทเค็น/วินาที บน mixtral 8x7B-32k
      ไม่รู้ราคา แต่ดูเหมือนว่าส่งอีเมลไปที่ api@groq.com ได้
    • OpenRouter โดยรวมเป็นตัวเลือกที่ดี และจุดเด่นที่สุดคือมี API แบบรวมศูนย์ สำหรับ LLM ทุกตัว
      ราคาก็เท่ากับราคาของผู้ให้บริการต้นทางเอง
      แต่สำหรับโมเดลของ OpenAI/Anthropic เขาต้องเปิด input/output filtering ตามข้อกำหนดของแต่ละบริษัท
    • เป็นบริการที่มีมาสักพักแล้ว แต่กำลังใช้ Anyscale Endpoints อยู่และค่อนข้างดี
      เร็วมาก และแค่ค่าตั้งต้นก็รองรับงานพร้อมกัน 10 งานได้
      ส่วน Together.ai ในการทดสอบช่วงแรกก็ดูโอเค แต่ยังไม่ได้ลองในสเกลใหญ่
    • เคยใช้ทั้ง API เชิงพาณิชย์ของ Mistral และ API เชิงพาณิชย์ของ AnyScale กับ mixtral-8-7b แล้ว และทั้งคู่ใช้งานง่าย
      อีกทั้งยังรันเวอร์ชัน quantization 3-bit ของ mixtral-8-7b บนระบบ M2 Pro หน่วยความจำ 32GB ได้ค่อนข้างเร็ว
      การมีตัวเลือกหลายเจ้าเป็นเรื่องที่ดี

  • ตลอดสัปดาห์ที่ผ่านมาได้ลองใช้เวอร์ชันใน poe และ chat.groq.com
    ดีกว่า llama 70b มาก

  • น่าสนใจที่ทำให้ ถาม LLM ได้ตรงจากแถบที่อยู่
    สงสัยว่าต่อไปจะทำ heuristic เพื่อแยกว่าเมื่อไรควรส่งคำถามไปที่ LLM โดยตรง และเมื่อไรควรใช้ผู้ให้บริการค้นหาเริ่มต้นหรือไม่

  • พอใช้ gpt4 แล้วกลับมาใช้ mistral จะให้ความรู้สึกเหมือนมอง จอ Retina แล้วกลับไปใช้จอความละเอียดต่ำ
    จะเผลอคิดตลอดว่า “แต่ถ้าเป็น GPT4 มันทำอันนี้ได้นะ”

    • สงสัยว่าได้ลอง mixtral หรือยัง

  • กำลังรัน Mixtral แบบโลคัลด้วย ollama

  • สงสัยว่ามี ส่วนขยาย Chrome ดี ๆ ที่ใช้ AI สรุปหน้าเว็บได้ไหม
    ลองตัวที่อยู่ต้น ๆ ในผลค้นหาของ Google มาหลายตัวแล้ว มันใช้งานได้ แต่ยัดฟีเจอร์ไม่จำเป็นมาเยอะจนบวม

    • ลองดู Universal Summarizer ของ Kagi ได้
      https://kagi.com/summarizer/index.html
      https://help.kagi.com/kagi/api/summarizer.html
      หรือจะใช้ส่วนขยายเบราว์เซอร์ Kagi Search (Chrome/Firefox) ก็ได้ ซึ่งทำให้ใช้โมเดล Muriel ที่ล้ำที่สุดได้ตรงจากในส่วนขยาย