Fly.io ตอนนี้มี GPU แล้ว

 (fly.io)
1 คะแนน โดย GN⁺ 2024-02-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

AI เจ๋งจริง ๆ

  • Fly.io คือบริการคลาวด์สาธารณะรูปแบบใหม่ที่สามารถวางพลังประมวลผลไว้ใกล้ผู้ใช้ได้
  • ตอนนี้สามารถใช้ GPU เพื่อประมวลผลงาน AI ในสภาพแวดล้อมเอดจ์คอมพิวติงได้
  • Fly.io ช่วยให้สามารถรันแอปแบบฟูลสแตกหรือแพลตฟอร์มพัฒนาที่อิงกับ Fly Machines API ใกล้กับผู้ใช้ได้

กรณีใช้งานจริงของการใช้ GPU บน Fly.io

  • สามารถดีพลอยโค้ดของตัวเองและโมเดลที่ต้องการบนคลาวด์แบ็กโบนของ Fly.io ได้
  • เมื่อใช้ GPU ของ Fly.io ก็สามารถรันแอป GPU ที่ใช้ Ollama (เพื่อน ๆ ในสายสร้างข้อความ) ได้อย่างง่ายดายเพียงสองขั้นตอน
  • สามารถดีพลอยแอปได้โดยเพิ่มการตั้งค่าใน fly.toml และรันคำสั่ง fly apps create sandwich_ai && fly deploy

ความเร็วแสงก็มีขีดจำกัด

  • การเปิดใช้งาน GPU ได้อย่างรวดเร็วนั้นดี แต่ Fly.io แสดงศักยภาพได้อย่างแท้จริงกับงาน inference ที่เอดจ์
  • ตัวอย่างเช่น แอปที่ให้ผู้ใช้กรอกวัตถุดิบที่มีอยู่ในครัว แล้วรับสูตรแซนด์วิชได้ทันที
  • Fly.io มี GPU อยู่ในดาต้าเซ็นเตอร์ทั่วโลก และทำให้สามารถรันโปรแกรมเดียวกันได้ในทุกภูมิภาคที่รองรับ GPU

ใช้เมื่อจำเป็นจริง ๆ เท่านั้น

  • GPU เป็นอุปกรณ์ประมวลผลแบบขนานที่ทรงพลัง แต่ไม่ได้ราคาถูก
  • สามารถเพิ่มส่วน services ในไฟล์ fly.toml เพื่อกำหนดวิธีสเกลขึ้นและสเกลลงของแอปได้
  • สามารถตั้งค่าเพื่อไม่ต้องจ่ายค่า GPU ในช่วงที่ผู้ใช้ไม่ได้ขอสูตรแซนด์วิช

รายละเอียดเพิ่มเติม

  • มี GPU ให้ใช้งานได้ในหลายภูมิภาคของสหรัฐฯ ยุโรป และซิดนีย์
  • มีตัวเลือก GPU และราคาให้เลือกหลากหลาย และโดยค่าเริ่มต้นทุกการดีพลอยจะใช้ AMD EPYC CPU 8 คอร์
  • สามารถเชื่อมต่อโวลุ่มได้สูงสุด 500GB และยังมีส่วนลดสำหรับรีเสิร์ฟด์อินสแตนซ์และโฮสต์เฉพาะด้วย

GN⁺ ความเห็น:

  • Fly.io มุ่งเน้นการยกระดับประสบการณ์ผู้ใช้ด้วยการให้บริการคลาวด์ที่ล้ำสมัย ซึ่งสามารถประมวลงาน AI ในสภาพแวดล้อมเอดจ์คอมพิวติงได้
  • บริการที่ใช้ GPU นี้นำเสนอโซลูชันที่คำนึงถึงทั้งความเร็วในการทำ inference และความคุ้มค่าด้านต้นทุน โดยเหมาะอย่างยิ่งกับแอปพลิเคชันที่ต้องการพลังประมวลผลสูงแบบเรียลไทม์
  • บริการนี้เป็นความก้าวหน้าที่น่าสนใจและมีประโยชน์อย่างมาก เพราะช่วยให้เข้าถึงเทคโนโลยี AI ได้ง่ายขึ้น และช่วยให้นักพัฒนาสร้างแอปพลิเคชันใหม่ ๆ ที่สร้างสรรค์ได้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-02-14
ความคิดเห็นจาก Hacker News
  • ผู้ใช้รายหนึ่งแสดงความผิดหวังกับความสามารถพื้นฐานของ Fly โดยชี้ว่าทีมซัพพอร์ตไม่สามารถยืนยันปัญหาในแพลตฟอร์มภายในได้ และข้อความแสดงข้อผิดพลาดก็คลุมเครือหรือไม่มีเลย ผู้ใช้นี้มองว่า Fly อาจน่าสนใจสำหรับคนที่กลัวหรือไม่รู้จัก Kubernetes แต่สำหรับตัวเองกลับทำให้นึกถึง Kubernetes
  • ผู้ดูแลความสัมพันธ์นักพัฒนาของ Fly.io เข้ามาแนะนำว่า GPU เปิดให้ผู้ใช้ทั่วไปใช้งานแล้ว และผู้ใช้สามารถลองทดสอบ GPU ได้ นอกจากนี้ยังแชร์ลิงก์ไปยังบล็อกโพสต์เกี่ยวกับ GPU พร้อมชวนให้ถามคำถามได้
  • ผู้ใช้อีกรายกล่าวว่า Fly ใช้ Firecracker ในการรัน VM และชี้ว่า Firecracker ไม่รองรับ GPU โดยพื้นฐาน จึงสงสัยว่า Fly ทำ GPU support ขึ้นมาได้อย่างไร และหวังว่าจะมีโพสต์เชิงเทคนิคเกี่ยวกับเรื่องนี้
  • ผู้ใช้คนหนึ่งชื่นชมฟีเจอร์ scale to zero ของ Fly โดยบอกว่าช่วยลดค่าใช้จ่ายเซิร์ฟเวอร์ได้เมื่อต้องรันเว็บไซต์ทดลองที่แทบไม่มีผู้ใช้ และอยากเห็นตัวอย่างเรื่องเวลาที่ถูกคิดค่าบริการต่อคำขอ
  • มีผู้ใช้ที่เสียดายว่า Fly ไม่มีบริการทดแทน S3 ผู้ใช้นี้เสนอโปรเจกต์ GNU Affero เป็นทางเลือก แต่รู้สึกว่าไม่เหมาะกับการทำธุรกิจ ชอบความเรียบง่าย ความคุ้มค่า และ VPN ในตัวของ Fly แต่การที่ต้องออกจาก Fly เพื่อเก็บ asset ของผู้ใช้ กลายเป็นเหตุผลชี้ขาดที่ทำให้โปรเจกต์ถัดไปจะไม่ใช้ Fly
  • มีผู้ใช้สงสัยว่าตลาดเป้าหมายของ Fly คืออะไร โดยตั้งคำถามว่ามุ่งไปที่แอปขนาดเล็กหรือแอปที่ยังไม่ผ่านการพิสูจน์ซึ่งต้องรันโมเดล AI แต่ไม่ใช้บริการโฮสติ้งหรือไม่ หรือจริง ๆ แล้วมีเป้าหมายอื่น
  • มีผู้ใช้ถามถึงประสบการณ์ด้านประสิทธิภาพของ Fly และรู้สึกจากความประทับใจแรกว่ามันแพง เช่น เมื่อเทียบกับเครื่อง CPU ของ Hetzner
  • มีผู้ใช้ถามว่ามีใครเคยเปรียบเทียบประสบการณ์ระหว่างบริการ Beam.Cloud กับ Fly บ้างหรือไม่
  • มีผู้ใช้พูดถึงความเร็วในการ scale ลงเป็น 0 ว่าเร็วแค่ไหน และบอกว่าถ้าเร็วจริงก็น่าสนใจมาก
  • มีผู้ใช้สงสัยว่า Fly สามารถรันไฟล์ cog ที่ replicate ใช้อยู่ได้หรือไม่ และสามารถรันโมเดลที่แพ็กเกจไว้ล่วงหน้าด้วย prediction API แบบเดียวกันได้หรือเปล่า ผู้ใช้นี้มองว่า replicate อาจทำให้ลังเล แต่ถ้า Fly รองรับแนวทางนี้ก็น่าจะมอบประสบการณ์ที่ลื่นไหลกว่า