บันทึกจากงาน Mistral AI Now Summit

 (koenvangilst.nl)
1 คะแนน โดย GN⁺ 5 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Mistral กำลังกำหนดทิศทางให้ตัวเองเป็นบริษัท AI แบบครบสแตก ไม่ได้เป็นเพียงบริษัทโมเดล แต่รวมทั้งคอมพิวต์ โมเดล แพลตฟอร์ม และที่ปรึกษาเข้าด้วยกัน
  • ชูจุดเด่นด้วย ดาต้าเซ็นเตอร์ 40MW ในปารีสและแผนดาต้าเซ็นเตอร์เพิ่มเติม พร้อมสร้างความแตกต่างด้วยโมเดลแบบเปิดที่ปรับแต่งได้ ซึ่งลูกค้าสามารถเป็นเจ้าของและรันแบบ on-premises ได้
  • แกนหลักของงานคือ พาร์ตเนอร์ชิป มากกว่าการเปิดตัวโมเดลใหม่ โดยความร่วมมือกับ ASML, BNP Paribas, Amazon Alexa+ และการเปิดตัว Vibe for Work คือประเด็นสำคัญ
  • ในระบบเอเจนต์ ฮาร์เนส ทำหน้าที่เพิ่มบริบท ความต่อเนื่อง และการเรียนรู้ ขณะที่การให้เหตุผลเป็นหัวใจสำคัญในการกู้คืนจากข้อผิดพลาดและรักษาความโปร่งใส
  • โมเดลขนาดเล็กที่เฉพาะทางและการติดตั้งแบบ on-premises คือกลยุทธ์ที่ออกแบบมาสำหรับอุตสาหกรรมที่มีข้อกำกับดูแลและบริษัทในยุโรป โดยเน้นผลตอบแทนจากการลงทุนที่จับต้องได้มากกว่าการแข่งขัน AGI

ตำแหน่งทางการตลาดของ Mistral

  • Mistral ไม่ได้หยุดอยู่แค่การเป็นบริษัทโมเดล แต่กำลังเดินหน้าไปสู่การสร้าง AI แบบครบสแตกที่รวมคอมพิวต์ โมเดล แพลตฟอร์ม และบริการที่ปรึกษา
  • บริษัทมี ดาต้าเซ็นเตอร์ 40MW ในปารีส และมีแผนสร้างดาต้าเซ็นเตอร์เพิ่มเติม รวมถึงในสวีเดน
  • จุดต่างจาก Anthropic หรือ OpenAI คือการมีโมเดลที่มีประสิทธิภาพ เปิดกว้าง และปรับแต่งได้ ซึ่งลูกค้าสามารถเป็นเจ้าของและนำไปรันแบบ on-premises ได้
  • ข้อความหลักของงานให้น้ำหนักกับ พาร์ตเนอร์ชิป มากกว่าการเปิดตัวโมเดลใหม่หรือความก้าวหน้าทางเทคโนโลยี
    • ความร่วมมือกับ ASML, BNP Paribas, Amazon Alexa+ ถูกยกมาเป็นตัวอย่างของการใช้ AI แก้ปัญหาจริง
    • มีการเปิดตัว Vibe for Work และอธิบายว่าเป็นผลิตภัณฑ์ที่คล้ายกับ Claude for Work

กลยุทธ์ผลิตภัณฑ์และกรณีใช้งาน

  • ระบบเอเจนต์และฮาร์เนส

    • โมเดลเพียงอย่างเดียวยังไม่เพียงพอ โดยฮาร์เนส (harness) ทำหน้าที่เพิ่มบริบท ความต่อเนื่อง และการเรียนรู้
    • การให้เหตุผล (reasoning) ถูกมองว่าเป็นองค์ประกอบหลักที่ทำให้ระบบย้อนกลับได้ ฟื้นตัวจากข้อผิดพลาดได้ และคงความโปร่งใสไว้ได้
    • แนวปฏิบัติที่ดีขององค์กรจะถูกเก็บเป็น สกิล (skills) และพัฒนาไปพร้อมกับการทำงานร่วมกับ AI agent

  • โมเดลขนาดเล็กและเฉพาะทาง

    • Mistral ยกตัวอย่างว่าโมเดลที่เล็กกว่า เร็วกว่า และมีจุดโฟกัสชัดเจน สามารถเหนือกว่าโมเดลขนาดใหญ่แบบอเนกประสงค์ในด้านประสิทธิภาพพลังงานและความเร็ว
    • Document AI เป็นโมเดลสำหรับ OCR และ EU Patent Office ใช้งานสำหรับ OCR ในระดับใหญ่
    • Voxtral เป็นโมเดลเสียงหลายภาษา และถูกใช้ขับเคลื่อน Amazon Alexa+ ในยุโรป
    • Robostral ใช้กับงานหุ่นยนต์อุตสาหกรรมร่วมกับ ASML
    • ในแอปพลิเคชันแบบเอเจนต์ที่มีการใช้โทเคนสูง ความเร็วและประสิทธิภาพก็สำคัญไม่แพ้ประสิทธิภาพดิบ

  • อธิปไตยและการติดตั้งแบบ on-premises

    • BNP Paribas รันโมเดลของ Mistral แบบ on-premises ในเบลเยียมสำหรับงาน KYC เพื่อเก็บข้อมูลอ่อนไหวไว้ภายในธนาคาร
    • Abanca ใช้ agent orchestration เพื่อประมวลผลข้อมูลอ่อนไหวของลูกค้ามากกว่า 1 ล้านรายภายในแอปในระดับใหญ่
    • สำหรับบริษัทในยุโรปที่อยู่ในอุตสาหกรรมกำกับดูแลเข้มงวด นี่อาจเป็นทางเลือกที่ช่วยลดการพึ่งพา hyperscaler ของสหรัฐฯ

  • การประยุกต์ใช้ในมนุษยศาสตร์

    • ทีมวิจัยจาก Austrian Academy of Sciences ได้นำ Codestral ซึ่งเป็น coding LLM ของ Mistral ไปทำ fine-tuning เพื่อให้อ่านเศษปาปิรุสที่มีอายุหลายพันปีได้
    • งานนี้ช่วยทำให้คอลเลกชัน เอกสาร 180,000 ชิ้น ที่ค้นพบในทะเลทรายอียิปต์เข้าถึงได้
    • มีการอธิบายว่านี่คืองานที่หากไม่มี AI อาจต้องใช้เวลามากกว่า 2,000 ปี
    • โครงการ Apollo ของ Austrian Academy of Sciences เป็นตัวอย่างที่แสดงให้เห็นว่า AI สามารถมีส่วนช่วยต่อวงการมนุษยศาสตร์ได้เช่นกัน

  • กลยุทธ์การเป็นพาร์ตเนอร์ AI ของยุโรป

    • วิสัยทัศน์ของ Mistral ดูใกล้เคียงกับการเป็น พาร์ตเนอร์ AI แบบฟูลสแตกของยุโรป ที่สร้างผลตอบแทนจากการลงทุนได้จริงในตอนนี้ มากกว่าการเอาชนะในการแข่งขัน AGI
    • ความสำเร็จหรือความล้มเหลวของกลยุทธ์นี้ขึ้นอยู่กับว่าบริษัทในยุโรปจะหันมารับแนวทางของ Mistral มากขึ้นหรือไม่
    • การผสมผสานระหว่างโมเดลแบบเปิด การติดตั้งแบบ on-premises และพาร์ตเนอร์ชิประดับองค์กร อาจดึงดูดองค์กรขนาดใหญ่จำนวนมากในสหภาพยุโรป
    • ยุคของการพึ่งพาบริษัทเทคโนโลยียักษ์ใหญ่จากสหรัฐฯ แบบไร้คำถามกำลังจะสิ้นสุดลง และสิ่งสำคัญคือได้มีผู้เล่น AI จากยุโรปที่จริงจังเกิดขึ้นแล้ว

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 5 시간 전
ความเห็นจาก Hacker News

  • ผม/ฉันเชียร์ Mistral และ โมเดลขนาดเล็กเฉพาะงาน มากจริง ๆ แต่ Mistral ตามหลังมากเกินไปตั้งแต่ช่วงไตรมาส 3 ปี 2025 เป็นต้นมา
    ถ้าจะยังแข่งขันได้ตอนนี้ อย่างน้อยก็ต้องรัน โมเดลให้เหตุผล ที่ดีได้แม้ในบริบทความยาวระดับกลาง แต่ดูเหมือน Mistral จะทำตรงนี้ไม่ได้
    ตอนนี้ฝั่งโมเดลเล็ก Gemma4 กับ Qwen3.6 ดีที่สุด และโมเดล “small” ของ Mistral มีพารามิเตอร์ 120B มากกว่าราว 4 เท่า แต่กลับยังแข่งกับโมเดลที่เล็กกว่าหนึ่งในสี่ได้ไม่ดีพอ
    เมื่อ 1 ปีก่อนสมัย Mistral Small 3.1 ยังพอไล่ทันอยู่ แต่ตอนนี้แทบไม่มีตัวตนแล้ว
    ถ้า Mistral จะเอาจริงกับตลาด on-premises และโมเดลขนาดเล็กเฉพาะงาน การสร้างโมเดลที่ทำให้คนใน r/localLlama ตื่นเต้นได้ก็น่าจะเป็นตัวชี้วัดทางอ้อมที่ค่อนข้างดี

    • เห็นด้วย ผม/ฉันเป็นผู้ใช้แบบเสียเงินของ Le Chat Pro และเชียร์ ทางเลือกจากยุโรป มากจริง ๆ แต่ช่องว่างด้านคุณภาพระหว่าง Mistral กับแล็บแนวหน้าเริ่มใหญ่จนมองข้ามได้ยากแล้ว
      ที่งานคอนเฟอเรนซ์แทบไม่พูดถึงโมเดลใหม่เลยก็น่ากังวลเหมือนกัน ส่วนตัวคิดว่านั่นควรเป็นสิ่งที่ต้องโฟกัสที่สุด
      สงสัยว่าอะไรเป็นตัวฉุดอยู่ เงิน ทรัพยากรคอมพิวต์ ความสามารถ หรือข้อมูลฝึกก็ไม่แน่ใจ
      ถ้าจะสร้างโมเดลที่ดีจริง ๆ ก็คงต้องฝึกด้วยข้อมูลที่ค่อนข้างน่าสงสัยอย่างผลลัพธ์จาก frontier model แต่ก็กลัวว่า Mistral จะยุโรปจ๋าและเน้นลูกค้าองค์กรเกินไปจนไม่กล้าเสี่ยงแบบนั้น
    • ดูเหมือน Mistral จะเข้าสู่ช่วง รีดเงินภาษีของผู้เสียภาษี EU ให้ได้มากที่สุด แบบเดียวกับบริษัทเทคยุโรปที่ไม่ถูกบริษัทอเมริกันซื้อกิจการ
      สุดท้ายคงจบแบบ Dailymotion กลายเป็นบริษัทซอมบี้
    • อันนี้ต่างจากประเด็น โมเดลขนาดเล็กเฉพาะงาน นิดหน่อย แต่ขอถามเพราะไม่ค่อยรู้ว่า มีเหตุผลเชิงโครงสร้างอะไรไหมที่ผู้ให้บริการ frontier model ไม่ออกโมเดลที่เล็กกว่าและโฟกัสชัดเจนกว่านี้
      ตัวอย่างที่นึกถึงคือโมเดลที่เป็นชุดย่อยของ Opus สำหรับงานซอฟต์แวร์โดยเฉพาะ ซึ่งใช้เป็นค่าเริ่มต้นใน Claude Code
      มันอาจจะเล็กกว่า ต้นทุนการดีพลอยและใช้งานถูกกว่า และอาจเร็วขึ้นด้วย
    • เห็นด้วย ถ้าแล็บแนวหน้าขึ้นราคาอีกครั้ง และลดโควตาในแต่ละระดับสมาชิกลงอย่างที่แทบเลี่ยงไม่ได้ คนก็คงกลับมาทบทวนผู้ให้บริการโมเดลกันอย่างจริงจังมากขึ้น
      ตอนนั้น Mistral ต้องพร้อม แต่จากผลงานช่วงหลัง ๆ ก็ไม่ค่อยมีเหตุผลให้คาดหวังมากนัก
    • ผม/ฉันรัน LLM แบบโลคัล และสำหรับตัวเอง 22B~32B คือขนาดใหญ่สุดที่ยังยอมลองได้
      ต่อให้ Mistral 4 จะมี active parameters ต่อโทเค็นแค่ 6B และสมมติว่าใส่ได้ 3~3.5 พารามิเตอร์ต่อโทเค็นบน 4090 การต้องดาวน์โหลดและใช้พื้นที่เก็บราว 240GB ก็แทบจะชนเพดานสำหรับการลองบนเครื่องโลคัลแล้ว
      ยิ่งถ้าต้องดาวน์โหลดหลายโมเดลมาเปรียบเทียบประเมินก็ยิ่งหนัก และก็ทำให้คนอื่นสร้าง fine-tuning ต่อได้ยากขึ้นด้วย เหมือนกับโมเดล Mistral/Magistral รุ่นก่อน ๆ

  • ผม/ฉันเพิ่งฟังวิทยากรจากภาครัฐด้าน IT ที่ยอดเยี่ยมคนหนึ่ง เขากำลังประเมินโมเดลต่าง ๆ อยู่และไม่พอใจกับสถานการณ์ปัจจุบันมาก
    เขาอยากใช้ Mistral และในบางกรณีก็เป็น โมเดลที่อยู่ใน EU เพียงตัวเดียวที่ใช้ได้ แต่เขาก็รู้เหมือนกันว่าประสิทธิภาพมันแย่มากและกำลังตามหลังลงเรื่อย ๆ
    Mistral อาจยังสร้างธุรกิจที่ทำกำไรได้ด้วยการเป็นโมเดลเดียวที่พอใช้ได้สำหรับงานใน EU แม้มันจะไม่ดีก็ตาม เป็นเรื่องน่าเศร้าและน่าหดหู่ที่ต้องมองดู

  • ผม/ฉันอยากให้ยุโรปมีส่วนร่วมใน การพัฒนาและวิจัย AI จริง ๆ และก็เชียร์ Mistral อย่างมาก
    แต่ช่องว่างทางเทคโนโลยีกำลังกว้างขึ้นมาก ถ้าแก้ไม่ได้ มันก็จะเป็นอีกหลักฐานหนึ่งว่ายุโรปไม่สามารถบริหารบริษัทเทคขนาดใหญ่ให้มีผลลัพธ์ที่ดีได้
    ในทางปฏิบัติ แล็บจากจีนแทบทั้งหมดทำได้ดีกว่ามาก แม้จะไม่นับ DeepSeek แค่การมี MiMo 2.5 หรือ Minimax 2.7 ก็ไม่ใช่สิ่งที่ Mistral ทำได้
    โมเดลฝั่ง Mistral มีแต่แบบที่อ่อนกว่า หรือไม่ก็ใหญ่และช้ากว่า หรือไม่ก็ไม่มี mixture-of-experts (MoE) ซึ่งไม่ดีเลย

    • https://en.wikipedia.org/wiki/Artificial_Intelligence_Act#Pe...
      ยุโรปเหมือนยิงตัวเองที่เท้าด้วยกฎหมายนี้ที่รีบทำขึ้นตอนกระแสตื่นตระหนกของสาธารณะพุ่งถึงจุดสูงสุด และตอนนี้บริษัทไหนที่ยังมีสติคงไม่อยากสร้างอะไรที่นั่นแล้ว
      สตาร์ตอัป AI ในอเมริกาหรือจีนอาจเริ่มได้ด้วยเด็กคนหนึ่งกับคอมพิวเตอร์หนึ่งเครื่อง แต่ในยุโรปเด็กคนนั้นต้องมีทนายสิบสองคน
      ที่ Mistral ซึ่งมีจุดเริ่มต้นนำหน้า มีโมเดลแรก ๆ ที่มีแววมาก และได้เงินลงทุนไปมาก กลับหายไปจากความสนใจ อาจเป็นผลจากการพยายามปฏิบัติตามกฎระเบียบทั้งหมดนั้นก็ได้
    • ไม่แน่ใจว่าที่บอกว่าช่องว่างทางเทคโนโลยีกว้างขึ้นมากหมายถึงอะไร การไล่ตามไม่ใช่ว่าง่ายและถูกกว่าการบุกเบิกนำหน้าหรือ
    • ในเรื่อง mixture-of-experts (MoE) ผม/ฉันจำได้ว่า Mixtral เป็นโมเดลแรกที่แสดงให้เห็นว่า MoE ใช้งานได้จริง
      ผม/ฉันประทับใจกับ technical report ฉบับนั้นมาก แน่นอนว่ารู้ว่าไอเดีย MoE เองมีมาก่อนแล้ว
      ถ้าผลักดันตระกูล Mixtral ต่อไปมากกว่านี้ บางทีอาจได้ชื่อเสียงแบบเดียวกับสาย Qwen ในตอนนี้ก็ได้ เป็นโอกาสที่พลาดไป
    • รัฐบาลสหราชอาณาจักรเพิ่งประกาศทุ่มงบ 10 ล้านปอนด์ให้การวิจัย AI แต่สุดท้ายที่ปรึกษาคงได้ไปเป็นส่วนใหญ่
      ถ้าเทียบกันแล้ว ผม/ฉันว่าอย่างน้อยยุโรปก็ยังทำได้ค่อนข้างดี

  • BNP Paribas ใช้โมเดลของ Mistral แบบ on-premises สำหรับ KYC ในเบลเยียม และประเด็นสำคัญคือข้อมูลอ่อนไหวยังคงอยู่ภายในธนาคาร
    ส่วน Abanca ก็ใช้ agent orchestration เพื่อประมวลผลข้อมูลลูกค้าที่อ่อนไหวในระดับใหญ่ เช่น ลูกค้า 2 ล้านคนของแอป
    สำหรับบริษัทในยุโรปที่อยู่ในอุตสาหกรรมที่มีการกำกับดูแล นี่เป็นทางเลือกที่ดีกว่าการพึ่งพา hyperscaler ของสหรัฐ และการที่ Mistral มุ่งเน้นไปที่โมเดลแบบ on-premises และโฮสติ้งในยุโรปก็เป็นทิศทางที่ฉลาดมาก

    • ถ้าพูดแบบสุภาพ ก็ไม่คิดว่ามัน “ฉลาดมาก” ขนาดนั้น
      มันก็แค่เป็นตัวเลือกที่ใช้ได้ดีในสถานการณ์ที่ตัวเลือกมีจำกัด
      ทุกคนกำลังทำทั้ง deployment engineering แบบเต็มรูปแบบหรือ customer-specific engineering เพราะไม่อย่างนั้นก็จะดูเหมือนบริษัทที่แค่บวกมาร์จินเพิ่มบนต้นทุนโทเคน
      แล้วบริษัท Neo-SaaS ก็จะเป็นฝ่ายเอาเงินไป นอกจากนั้นแล้วใครจะมาซื้อ AI ของ Mistral และยังจะมีทางเลือกอะไรอีกล่ะ
    • การที่ Mistral เข้าซื้อกิจการ Koyeb เพื่อเสริมความเชี่ยวชาญด้านการ deploy ในระดับใหญ่ก็เป็นการตัดสินใจที่เหมาะเจาะพอดี
    • คิดว่า Mistral ไม่ได้มุ่งเน้นไปที่การสร้างคอนเทนต์อย่างโค้ด รูปภาพ หรือวิดีโอ
      แต่ดูเหมือนจะโฟกัสที่ด้านอื่นอย่าง โมเดลหลายภาษา, OCR และเสียงแทน
      หน้าแนะนำโมเดลก็สะท้อนสิ่งนั้น แต่มีความหลากหลายเกินไป และมีทั้งหมวดหมู่กับชื่อโมเดลเยอะมากจนสับสนอยู่เสมอ
      หวังว่าการตัดสินใจของพวกเขาจะนำไปสู่ผลลัพธ์ที่ดี
    • นี่ไม่ใช่เส้นทางที่สตาร์ตอัป EU มักไปกันหลังจากยอมแพ้ตลาด B2C หรือ SaaS ระดับโลกหรอกหรือ? หันกลับมาโฟกัสที่ B2B สำหรับบริษัทยุโรปรายใหญ่และสัญญากับภาครัฐ
      สำหรับสตาร์ตอัปยุโรป enterprise B2B ให้ความรู้สึกเหมือนเป็นที่ที่ไปตายอยู่เสมอ
    • ถึงอย่างนั้น เหตุผลอะไรที่ต้องใช้ Mistral แบบ on-premises แทน Qwen?

  • ไปเข้าร่วมงานมา และขนาดของผู้เข้าร่วมก็น่าประทับใจมาก มีผู้นำจากบริษัทจดทะเบียนรายใหญ่ของยุโรปมาครบหมด
    จำนวนพาร์ตเนอร์ที่เชิญมาก็น่าสนใจด้วย มีตั้งแต่ Microsoft, Accenture, EY ไปจนถึงสตาร์ตอัปอย่าง alpic.ai และ lingo.dev
    ดูเหมือนพวกเขากำลังเร่งความเคลื่อนไหวฝั่ง M&A ด้วย

  • แยกจากเรื่องธุรกิจแล้ว ดีไซน์เว็บไซต์ยอดเยี่ยมจริง ๆ: https://mistral.ai/

    • มันดูซับซ้อนเกินไป และการจัดวางย่อหน้าก็ดูไม่เข้าที่
    • ไม่ค่อยรู้ว่ามีอะไรดีเป็นพิเศษ ลองเลื่อนดูบนมือถือแล้วก็ดูเหมือนเว็บไซต์องค์กรทั่วไปพอสมควร
    • ชอบ branding ของ Mistral ทั้งหมดเลย

  • ได้อีเมลจาก Mistral บอกว่าจะทยอยยุติโมเดลเฉพาะทางบางตัว หรืออาจจะส่วนใหญ่ เช่น devstral ภายในเดือนสิงหาคม และให้ไปใช้โมเดลอเนกประสงค์แทน
    ค่าใช้จ่ายเพิ่มขึ้นแบบก้าวกระโดด
    ในอีเมลระบุว่าแนะนำให้ย้ายจาก Devstral 2 (devstral-2512 และ devstral-latest) ไปเป็น Mistral Medium 3.5 (mistral-medium-3-5 พร้อมตั้งค่า reasoning_effort เป็น "high") ซึ่งเป็นโมเดลที่แรงกว่า โดยราคาคือ $1.5/$7.5 ต่อ 1 ล้านโทเคนสำหรับ input/output
    เปลี่ยนมาจากเดิมที่ $0.4/$2

    • ผมก็ได้รับอีเมลเดียวกัน แต่คิดว่าตัวเองย้ายทุกอย่างไปที่ Mistral-Medium-3.5 หมดแล้ว เลยไม่ค่อยแน่ใจว่ายังใช้โมเดลไหนที่กำลังจะถูกยุติอยู่
      ไม่ว่าอย่างไร หลังจากได้อีเมลนั้นก็หวังว่านี่จะเป็นสัญญาณว่าพวกเขากำลังจะออกโมเดลใหม่ที่ดีขึ้นในอีกไม่กี่เดือนข้างหน้า

  • ดูเหมือนไม่มี moat เลยแม้แต่น้อย เหมือนเป็น บริษัทที่ปรึกษาซอฟต์แวร์ ที่มีดาต้าเซ็นเตอร์
    แถมในโพสต์ก็บอกว่าลูกค้าหลายรายใช้โมเดลเหล่านี้แบบ on-premises ดังนั้นดาต้าเซ็นเตอร์เองก็ไม่ได้เป็นข้อได้เปรียบอะไรนัก
    อะไรจะไปหยุดสตาร์ตอัปที่ได้รับการสนับสนุนจากภาครัฐรายใดก็ตามจากการ fine-tune โมเดลโอเพนซอร์สขนาดเล็ก

    • อาจเป็นเพราะถ้า distill จากโมเดลใหญ่ที่ควบคุมได้เอง ก็อาจได้โมเดลเล็กที่ดีกว่าการ fine-tune บนพื้นฐานของโมเดลใหญ่ที่ตัวเองควบคุมไม่ได้
      ไม่ได้จะอ้างว่านี่เป็นเรื่องจริง แค่หมายความว่าสามารถตั้งสมมติฐานแบบนั้นได้

  • ในฐานะชาวยุโรป เห็นด้วย 100 เท่า
    ในบรรดาผู้เล่นเหล่านี้ ผมชอบทิศทางและความโปร่งใสของ Mistral มากจริง ๆ

    • ต่อให้ไม่ใช่ชาวยุโรป การได้เห็น คู่แข่งจากยุโรป ที่สู้กับโมเดลจากสหรัฐและจีนได้ก็เป็นเรื่องที่ดี

  • ที่บอกว่า Abanca ใช้ agent orchestration เพื่อจัดการข้อมูลลูกค้าที่อ่อนไหวในระดับ “มหาศาล” ของลูกค้า 2 ล้านคนในแอปนั้น ผมเริ่มไม่แน่ใจว่ามาตรฐานคำว่า มหาศาล ของตัวเองมันเพี้ยนไปหรือเปล่า
    ถ้ามีผู้ใช้ 2 ล้านคน ข้อมูลก็น่าจะอยู่ระดับไม่กี่ร้อย MB ไม่ก็ไม่กี่ GB ถ้าข้อมูลต่อผู้ใช้เยอะหน่อย

    • ก็อาจจะใช่ แต่ถ้าใช้ large language model รุ่นใหม่จัดการคำถามฝ่ายบริการลูกค้าแบบ agentic ก็จะใช้โทเคนเยอะได้อย่างรวดเร็ว
      จากที่เข้าใจในงานนำเสนอ ดูเหมือนพวกเขาใช้เอเจนต์ที่มีความรับผิดชอบจำกัดและน่าจะใช้โมเดลเล็กกว่าด้วย เพื่อให้ตอบได้เร็ว เสถียร และไม่ให้ต้นทุนสูงเกินไป
    • บริษัทที่ทำธุรกิจกับผู้บริโภคในยุโรปขยายขนาดได้ยากกว่าบริษัทอเมริกันมาก และนี่เป็นสาเหตุใหญ่ส่วนหนึ่งของปัญหาทั่วไปที่ยุโรปเผชิญในการสร้างบริษัทเทคโนโลยี
      ขณะเดียวกัน ธุรกิจแบบนั้นอาจมีความสามารถในการตั้งรับได้พอสมควร แต่โดยมากก็ไม่ได้แปลว่าจะทำกำไรได้สูงขนาดนั้น