Ollama Turbo

 (ollama.com)
5 คะแนน โดย GN⁺ 2025-08-07 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Ollama Turbo คือโซลูชันใหม่ที่ช่วยให้รันโมเดล AI แบบโอเพนซอร์สขนาดใหญ่ได้อย่างรวดเร็วบน ฮาร์ดแวร์ศูนย์ข้อมูลประสิทธิภาพสูง (ราคา $20 ต่อเดือน)
  • ให้วิธีใช้งาน แอป, CLI, API และไลบรารี JavaScript/Python ของ Ollama ได้ตามเดิม พร้อมกับยังสามารถรันโมเดลขนาดใหญ่ได้อย่างเร็วและมีประสิทธิภาพมากขึ้น
  • ขณะนี้อยู่ในสถานะตัวอย่าง (preview) และรองรับโมเดล gpt-oss-20b และ gpt-oss-120b ของ OpenAI ที่เปิดให้ใช้งานได้สู่สาธารณะ
  • เมื่อใช้ โหมด Turbo ประวัติการถามจะ ไม่ถูกจัดเก็บหรือบันทึกเป็นล็อก บนเซิร์ฟเวอร์
  • ฮาร์ดแวร์ดำเนินการเฉพาะใน ศูนย์ข้อมูลภายในสหรัฐอเมริกา และมีการจำกัดการใช้งานตามเวลาและรายวัน โดยมีแผนในการนำระบบเรียกเก็บเงินตามการใช้งานมาใช้งานในอนาคต

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-08-07
ความคิดเห็นบน Hacker News

  • ฉันคิดว่าเป็นการเปิดตัวที่ยอดเยี่ยมมาก ตอนนี้จุดยากที่สุดของการใช้โมเดลโอเพ่นซอร์สในองค์กรคือหลายองค์ประกอบ เช่น ความเร็ว ต้นทุน ความน่าเชื่อถือ ความสมบูรณ์ของฟีเจอร์ (เช่น context caching) ประสิทธิภาพ (เช่น ระดับ quant ที่ใช้จริง ฯลฯ) ความเป็นส่วนตัวของข้อมูลตามที่ตั้งฮาร์ดแวร์/พื้นที่เก็บข้อมูล และ LTS เป็นต้น โดยที่ถ้าจะใช้โมเดล OSS ที่ไม่ใช่ผู้ให้บริการรายใหญ่เพียงไม่กี่ราย คุณต้องประเมินผู้ให้บริการเองทั้งหมด ซึ่งมักต้องใช้ความเชี่ยวชาญสูงมาก และบางครั้งจำเป็นต้องสร้างเครื่องมือประเมินแบบกำหนดเองด้วย ในทางกลับกัน Anthropic, OpenAI และ Google จะให้ประสบการณ์ที่ใช้งานได้ทันที และคุณก็จ่ายตามประสบการณ์แบบที่รันแทนทุกอย่างนี้ให้ ในแง่ราคาอาจสูงกว่านิดหน่อย แต่ผมมองว่าเป็นการจ่ายเพื่อบริการ ‘ทำให้พร้อมใช้งานทั้งหมด’ ถ้าผู้ให้บริการโอเพ่นซอร์สไม่ทำมาตรฐานร่วมกัน แม้โมเดลโอเพ่นซอร์สจะมีศักยภาพทัดเทียมโมเดลปิดในทางทฤษฎี ก็ยังดูเหมือนจะตกอยู่ในจุดกึ่งกลางที่การแข่งขันเชิงการใช้งานระดับใหญ่ยากมาก

    • เห็นด้วย แต่การใช้ผู้ให้บริการขนาดใหญ่หลัก ๆ ก็เท่ากับยกส่ง prompt traffic ทั้งหมดไปโดยแทบไม่มีการคุ้มครองทางกฎหมายที่มีน้ำหนักใด ๆ รายละเอียดเพิ่มเติมอยู่ใน บทความที่เกี่ยวข้อง
    • โมเดล gpt-oss ให้บริการเฉพาะรูปแบบ quant 4.5 บิต และรูปแบบนี้คือโมเดลต้นฉบับแท้ ๆ ไม่มีโมเดล fp16

  • มีคนจำนวนหนึ่งที่รู้สึกไม่ชอบเมื่อ Ollama ทำสิ่งนี้ แต่ผมเห็นว่าเป็นโซลูชันที่ง่ายที่สุดสำหรับการพัฒนาและทดสอบโมเดลบนเครื่องจริง ๆ อย่างแท้จริง ใช่ครับ llama.cpp คือเอนจิ้นจริง ๆ และ Ollama ก็เป็น wrapper หนึ่งแบบของมัน ในงานบริการเชิงพาณิชย์จริง ๆ ก็ไม่อยากจะใช้ Ollama แต่ถ้าผู้ใช้งานที่มีความเข้าใจทางเทคนิคค่อนข้างต่ำต้องการพัฒนาระบบที่มี LLM และต้องการเห็นผลเร็ว ๆ ที่จุดที่ใช้งานได้ทันที แน่นอนว่าความสะดวกของการติดตั้งผ่าน GUI และไฟล์ .dmg เป็นข้อดีใหญ่

    • ขอบคุณฟีดแบ็กครับ หลังอัปเดตเอนจิ้นมัลติมอดัลล่าสุด Ollama ก็ไม่ใช่ wrapper แบบตรง ๆ ของ llama.cpp อีกต่อไป ตอนนี้ยังคงใช้ไลบรารี GGML อยู่ และกำลังทำการปรับแต่งประสิทธิภาพร่วมกับพันธมิตรฮาร์ดแวร์อยู่ตลอดเวลา Ollama อาจดูเป็นเครื่องมือเล่น ๆ แต่เพื่อคงความเรียบง่าย เราใส่ความพยายามมากมาก ความเรียบง่ายบางครั้งถูกมองข้าม แต่ผมอยากเห็นโลกแบบที่เราหวังไว้

  • มีความคิดเห็นว่าอยากใช้ Ollama ในสภาพแวดล้อม production น้อย ซึ่งจริง ๆ แล้วเราเคย benchmark เวลาเริ่มต้นและความเร็วในการประมวลผล token ต่อวินาทีระหว่าง vLLM กับ Ollama แล้วพบว่า Ollama มีผลลัพธ์ดีที่สุด กำลังรอผลลัพธ์นี้ว่าจะเผยแพร่ได้เร็ว ๆ นี้

    • หากไม่สามารถใช้ GPU data center ที่เหมาะสม และมีทางเลือกได้เฉพาะการ deploy ฝั่งเดสก์ท็อปหรือฝั่งไคลเอนต์เท่านั้น Ollama ก็เป็นตัวเลือกที่เหมาะสมที่สุด สถานการณ์นี้พบไม่บ่อย แต่ในบางองค์กรความจริงคือมีเพียงเดสก์ท็อปที่ติดการ์ด 4090 เท่านั้นที่ใช้ได้

  • ฉันรู้สึกว่า Ollama คือคำแทนของคำว่า ‘local’ และอยากดูว่าอนาคตจะไปแบบไหน

    • มีเสียงผู้ใช้จำนวนเล็กน้อยที่ไม่เชื่อใจองค์กรขนาดใหญ่ แต่กลุ่มนี้มักยอมรับการจ่ายเงินให้บริการที่คล้ายกันจากบริษัทเล็กได้ คำถามคือพวกเขาจะจริงจังจ่ายเงินให้ Ollama หรือไม่
    • รู้สึกคล้ายกับ cloud gaming โดยรวมแล้วการใช้งาน local ดีและมีประโยชน์ แต่บางครั้งการโอนไม่ว่าเรื่องฮาร์ดแวร์ไปให้ผู้อื่นก็ประหยัดกว่าในภาพรวม สุดท้ายแล้วมันคือการเลือกแบบไม่ใช่ใช่หรือไม่ใช่ทั้งหมด

  • เรื่อง “Privacy first” ผมยังอยากเห็นรายละเอียดมากขึ้น ถ้าสื่อสารแค่ว่า ‘ไม่เก็บข้อมูล’ อาจไม่พอ ตัวอย่างเช่น Draw Things เมื่อให้บริการ ‘Cloud Compute’ ก็ประมวลผลข้อมูลเฉพาะ RAM ระหว่างคำขอแล้วไม่เก็บผลลัพธ์ แต่ผมเองก็ยังรู้สึกไม่พอใจมาก ในเร็ว ๆ นี้คาดว่าจะมีการเพิ่มการรองรับ ‘privacy pass’ แต่ก็มีข้อจำกัด ถ้ามี logs โปร่งใสที่พิสูจน์ได้จากฮาร์ดแวร์เลยจะดีมาก แต่ไม่รู้จะเริ่มจากตรงไหน

    • ผมไม่คิดว่าการทำงานร่วมกับ Ollama จะทำให้ได้เปรียบในมิติความเป็นส่วนตัวเพราะฉะนั้น อย่างน้อย Ollama ก็อาจขายข้อมูลหรือจำเป็นต้องส่งข้อมูลตามข้อกำหนดทางกฎหมายได้
    • นโยบายความเป็นส่วนตัวยังไม่ชัดเจน และแอป desktop ก็ไม่เปิดโอเพ่นซอร์ส ทำให้ยากจะไว้วางใจ [และอ้างอิงว่า เรากำลังทำโซลูชันการเรียกใช้ LLM ที่มีความเป็นส่วนตัวจริงพร้อมลอกรหัสโปร่งใส]
    • หากสามารถรันโมเดลในสวิตเซอร์แลนด์หรือประเทศที่ปฏิบัติตาม GDPR ได้ด้วยดี แม้ latency จะสูงกว่าเล็กน้อย ผมยินดีจ่ายเพิ่มอีก และอยากให้การส่งข้อมูลทุกครั้งผ่านโปรโตคอลความปลอดภัยอย่าง SSL

  • ถ้าคิดแบบเทียบกันแล้วจ่าย 20 ดอลลาร์ให้ Ollama เพื่อใช้โมเดลที่ ‘ด้อยกว่า’ แล้วไม่ดีกว่าการใช้โมเดล SOTA ของ OpenAI หรือเปล่า

    • จุดเด่นหลักของ Ollama Turbo คือถ้ามีฮาร์ดแวร์ที่เหมาะสม คุณสามารถทดสอบโมเดลหลากหลายจากคลาวด์ได้ทันทีจากนั้นรันในเครื่องได้ มันช่วยให้คุณลองประเมินความเป็นไปได้ของโอเพ่นโมเดลได้ก่อนที่ต้องลงทุนสูงในการซื้อฮาร์ดแวร์ระดับสูงเอง (mac studio, dgx ฯลฯ) โดยเฉพาะนักพัฒนานิเวศการเงิน การแพทย์ กฎหมายที่ให้ความสำคัญกับความเป็นส่วนตัว มักต้องการ on-premises และ local อยู่เสมอ คุณสามารถใช้บริการนี้สำหรับการทดลองและพัฒนาเชิงที่ไม่เป็นความลับมาก จากนั้นตอนเข้าผลิตจริงค่อยย้ายไปใช้ฮาร์ดแวร์ของตัวเองได้

    • ข้อได้เปรียบคือรันโมเดลได้อย่างเสรีโดยไม่มีฟิลเตอร์ OpenAI มักใส่ฟิลเตอร์มากเกินไป และยังไม่บอกว่าละเมิดกฎข้อไหน ทำให้ต้องปรับ prompt ซ้ำ ๆ เพื่อตรวจว่าละเมิดลิขสิทธิ์ เครื่องหมายการค้า ฯลฯ หรือไม่ และล่าสุดยังมีกรณีที่คำถามธรรมดา ๆ ก็ไม่ได้รับคำตอบที่ถูกต้อง มักอยากได้รุ่น LLM ที่ไม่มี ‘การป้องกัน’ สักแบบ

    • ไม่มั่นใจว่าราคาของโมเดลขนาดใหญ่จะยังคงอยู่ที่ 20 ดอลลาร์ตลอดไป อย่างน้อยผมหวังให้ตลาดยังคงแข่งขันอย่างเข้มข้น

    • เหตุผลสำคัญที่สุดน่าจะเป็นความเป็นส่วนตัวของข้อมูล และบางทีแผนราคาอาจเพิ่มปริมาณใช้งานได้มากขึ้น ผมมองว่าความเป็นส่วนตัวเป็นหัวใจ

  • ฉันคิดว่านี่เป็นสิ่งที่คาดหวังไว้แล้ว ชุมชน local inference กำลังรวมตัวรอบ Ollama แต่ดูชัดเจนว่าในเชิงกลยุทธ์ระยะยาว Ollama ไม่ได้โฟกัสที่ตรงนั้น จึงคิดว่าควรย้ายไปทางเลือกอื่นอย่างรวดเร็ว

    • ไลบรารีฐาน llama.cpp ของ Ollama มีฟังก์ชัน server และรองรับ open-webui อย่างครบถ้วนจริง ๆ ผมเองเมื่อหลายเดือนก่อนย้ายจาก ollama ไปใช้ llama-server แล้ว และยังใช้ UI เดิมได้แบบไม่รู้สึกขาดสิ่งใดเลย

    • Ollama เปิดกว้างและเก็บค่ากับผู้ใช้ที่ต้องการ GPU เพิ่มเติมจริง ๆ และเมื่อมีต้นทุน GPU ก็สมเหตุสมผลที่มีการเรียกเก็บ และรายได้จากตรงนั้นช่วยให้แกนหลักของโปรเจ็กต์โอเพ่นซอร์สเติบโตได้ นี่เป็นแนวคิดที่สมเหตุสมผล และถ้าทำด้วยจริยธรรมก็สามารถสร้างผลงานที่ดีได้

    • โครงการ github.com/containers/ramalama ก็มีวัตถุประสงค์เช่นนั้นด้วย

    • Huggingface ก็ให้บริการคลาวด์ แต่ไม่หมายความว่าคุณไม่สามารถดาวน์โหลดน้ำหนักโมเดลไปรัน local ได้

    • สุดท้าย การคาดหวังบริการฟรีในลักษณะที่ยั่งยืนไม่ได้มีทางเลือกที่ไม่จำกัดอยู่มาก หากต้องการสร้างทางเลือกโอเพ่นซอร์สเองก็สามารถลงแรงทำได้เอง ถ้าไม่เช่นนั้น การยอมรับความจริงในตอนนี้ก็จำเป็น

  • ผมยังงงว่าทำไม Ollama ถึงทำการตัดสินใจแบบนี้ หากไม่ใช่การลดรายได้ มันดูเหมือนมีแรงกดดันจากใครบางคน เพราะจริง ๆ แล้ว solution สำหรับ local ทำงานได้ดีมากและอาจขยายความคิดใหม่ ๆ ได้มาก แต่การเพิ่มบริการคลาวด์อีกตัวดูน่าเสียดาย ผมยังชอบ Ollama และหวังให้มันยังคงดีแบบเดิมเสมอ

    • ซอฟต์แวร์โอเพ่นซอร์สอาจใช้ฟรีในแง่การใช้งาน แต่การสร้างมันไม่ฟรี หากต้องการให้ทันสมัยตลอดต้องมีคนดูแล issue ใน GitHub และงานแบบนี้อาจต้องมีการชดเชยผลตอบแทน

  • ข่าวนี้มีส่วนที่น่าสนใจมาก ในฐานะ local OSS model engine ตัวหลัก การที่ครั้งนี้เลือกให้บริการเฉพาะ OSS ตั้งแต่ต้นรู้สึกเหมือนกลยุทธ์เข้าไปอยู่บนคลื่น OSS boom ตามจังหวะประกาศนี้ แผน subscription ก็น่าสนใจ โดยผู้เล่นคนอื่นก็เริ่มใช้ แต่ในบริการที่อิง API รูปแบบนี้ยังคงไม่ค่อยพบ การสงสัยว่ามีสงครามราคา LLM ระยะยาวแน่นอน ทำให้เห็นสัญญาณของการมี subscription ในบริการ API ได้เช่นกัน คำถามคือ Ollama จะมีทรัพยากรพอที่จะคงทั้ง local engine และคลาวด์บริการนี้ไว้ได้หรือไม่

  • ผู้สังเกตตัวเองว่าจะมี ‘การชาร์จตามการใช้งาน’ มาเร็ว ๆ นี้ และคิดว่าเป็นรูปแบบที่เหมาะมากกับบริการแบบนี้เอง ผมก็จ่าย 20 ดอลลาร์ให้ Anthropic เช่นกัน แต่รายจ่ายนั้นก็พอสำหรับการใช้งานผมในบริการนี้น้อยอยู่ ในทางกลับกันการที่มีโมเดลหลากหลายให้เรียกและเปรียบเทียบได้ทันทีนั้นมีประโยชน์มาก ขอให้ทีมไปได้ดี

    • การให้บริการ OSS LLM แบบรายได้คงที่เป็นแนวคิดที่ค่อนข้างแปลก ผมคงไม่คิดว่าจะค่อยใช้ แต่หากมีการคิดค่าใช้จ่ายตามการใช้งานจริง ๆ ก็จะต้องไปแข่งกับ deepinfra.com, novita.ai, openrouter.ai ทันทีเลย Ollama มีการรับรู้แบรนด์สูงกว่า แต่ผู้เล่นเดิม ๆ ก็มีความได้เปรียบด้านราคาค่อนข้างสูงมาแล้ว

    • เห็นด้วยว่าการคิดค่าใช้จ่ายตามการใช้งานกำลังจะเปิดตัว อย่างไรก็ตามเมื่อมีผู้ให้บริการ OpenAI-based models มากมายอยู่แล้ว คำถามคือ Ollama มีจุดต่างที่ชัดเจนยังไง ในขณะเดียวกันก็มีอินเตอร์เฟซที่ดีของ API key ของตัวเองค่อนข้างเยอะแล้ว

    • การมี subscription รายเดือนสำหรับการเข้าถึง API ถือว่าน่าสนใจจริง ๆ

  • วิธีคิดค่าสมาชิกรายเดือนสำหรับการใช้ API เป็นความคิดที่น่าค้นหา มูลค่าจริงอาจขึ้นอยู่กับการที่ยังไม่เปิดเผยขีดจำกัดการใช้บริการในปัจจุบัน

    • พวกเขาจะคอยติดตามรูปแบบการใช้งานจริงอย่างต่อเนื่อง เพื่อออกแบบโครงสร้างราคาให้เหมาะสมมากขึ้น