- ตอนนี้สามารถรันโมเดล Llama 3.3 70B ของ Meta ที่มีประสิทธิภาพระดับ GPT-4 บนโน้ตบุ๊กทั่วไปได้แล้ว (MacBook Pro M2 64GB)
- นี่เป็นความก้าวหน้าครั้งใหญ่ที่เกิดขึ้นภายในราว 20 เดือนหลังจากการเปิดตัว LLaMA ในเดือนมีนาคม 2023
- สามารถดาวน์โหลดข้อมูลโมเดลขนาด 42GB มารันแบบโลคัลผ่าน Ollama ได้ (และสามารถรันด้วย MLX ของ Apple ได้เช่นกัน)
- ต้องใช้ RAM 64GB และเนื่องจากมีการใช้หน่วยความจำสูงระหว่างรัน จึงแนะนำให้ปิดแอปอื่นที่ใช้ทรัพยากรมาก
- ประสิทธิภาพและเบนช์มาร์ก
- ในเบนช์มาร์ก LiveBench โมเดลอยู่อันดับ 19 สูงกว่า Claude 3 Opus และอยู่ในระดับใกล้เคียงกับ GPT-4 Turbo
- โดยเฉพาะในการประเมินความเข้าใจคำสั่ง (Instruction Following) ทำผลงานได้อยู่ในระดับสูงสุด
- สามารถทำงานได้หลากหลาย เช่น สร้างข้อความ เขียนโค้ด และสร้างภาพ SVG
- อุปกรณ์ส่วนบุคคลกำลังสามารถรันโมเดลที่ทรงพลังยิ่งขึ้นได้เรื่อย ๆ
- โมเดล LLM สำหรับรันแบบโลคัลอื่น ๆ ที่น่าสนใจ
- Qwen2.5-Coder-32B
- เป็นโมเดลที่พัฒนาโดยทีมวิจัย Qwen ของ Alibaba และเผยแพร่ภายใต้ไลเซนส์ Apache 2.0
- แสดงประสิทธิภาพโดดเด่นในงานสร้างโค้ด และสามารถใช้งานได้อย่างอิสระ
- เป็นเครื่องมือที่มีความหมายต่อชุมชนนักพัฒนายิ่งขึ้นด้วยไลเซนส์โอเพนซอร์ส
- QwQ
- ใช้รูปแบบ chain-of-thought ที่คล้ายกับซีรีส์ o1 ของ OpenAI
- สามารถแก้ปัญหาที่ซับซ้อนแบบเป็นลำดับขั้นได้
- ความสามารถในการรันได้ลื่นไหลในสภาพแวดล้อมแบบโลคัลถือว่าน่าประทับใจ
- Llama 3.2 ของ Meta
- โมเดลขนาด 1B และ 3B สามารถรันได้แม้บนคอมพิวเตอร์ขนาดเล็กอย่าง Raspberry Pi
- ให้ประสิทธิภาพที่ดีมากเมื่อเทียบกับขนาด และยังมีโมเดลมัลติโหมดด้านวิชันขนาด 11B และ 90B ที่รองรับการประมวลผลภาพด้วย
- มีตัวเลือกที่หลากหลายตั้งแต่โมเดลขนาดเล็กไปจนถึงโมเดลขนาดใหญ่
- โมเดลเหล่านี้แสดงให้เห็นว่าเทคโนโลยี LLM ไม่ได้จำกัดอยู่แค่ฮาร์ดแวร์ระดับเซิร์ฟเวอร์อีกต่อไป และสามารถรันได้บนคอมพิวเตอร์ส่วนบุคคลทั่วไป
- โดยเฉพาะอย่างยิ่ง การพัฒนาของโมเดลโอเพนซอร์สกำลังขยายสภาพแวดล้อมที่ให้นักพัฒนาทดลองและประยุกต์ใช้งานได้อย่างอิสระ
- แนวโน้มในอนาคต
- คาดว่าจะมีความก้าวหน้าอย่างมากทั้งในด้านมัลติโมดาลิตีและประสิทธิภาพของโมเดล
- มีแนวโน้มว่าการพัฒนาจะยังคงมุ่งเน้นไปที่การทำงานจริงที่มีประโยชน์และมีประสิทธิภาพ มากกว่าการไล่ตาม AGI
- แม้ด้วยโมเดลในปัจจุบัน ก็คาดว่ายังสามารถใช้ทำงานที่มีประสิทธิผลได้ต่อไปอีกหลายปี
13 ความคิดเห็น
บน M1 Max 64GB ก็น่าจะรันได้เหมือนกันใช่ไหม?
ถ้าไม่ใช่คนที่ไม่สนใจคอมพิวเตอร์เลย ผมเคยคิดว่าสำหรับคนสายนี้ RAM ราว ๆ 64GB ก็น่าจะเป็นพื้นฐานอยู่แล้ว..
ถ้าไม่ได้จัดการข้อมูลจำนวนมากจริง ๆ ความแตกต่างระหว่าง 16 กับ 64 ก็ไม่ใช่จุดที่รู้สึกได้ชัดเจนนักครับ
แรม 8GB ก็พัฒนาได้ดี งานทุกอย่างไม่ได้ต้องใช้หน่วยความจำมากขนาดนั้นเสมอไป
ถ้ามีแรม 64GB ก็ดูเป็นสเปกที่เข้าถึงได้ค่อนข้างง่ายนะครับ
ช่วงนี้ DDR5 16GB สำหรับโน้ตบุ๊ก ราคาแค่ 60,000 วอนเอง
มีโน้ตบุ๊ก 64GB ในช่วงราคา 800,000 วอนอยู่หลายรุ่นครับ
Mac แรม 64GB ก็มีความหมายเท่ากับ VRAM 64GB ดังนั้นในความเป็นจริงคือเริ่มต้นที่ระดับ 300 เลยครับ
Mac ตระกูล M-series ใช้หน่วยความจำร่วมกันระหว่าง CPU และ GPU จึงให้ผลเหมือนมีหน่วยความจำ GPU เพิ่มขึ้น
พอไปอ่านต้นฉบับมาแล้วก็พอเข้าใจหัวข้ออยู่บ้างนะครับ เพราะมันเป็นโพสต์แนวว่า ผู้เขียนรันโมเดล Llama บนโน้ตบุ๊กที่ตัวเองมีอยู่! นั่นเอง.. ฮ่าๆ
นี่หมายถึง 64GB เมื่อคำนึงถึงการรันโปรแกรมอื่น ๆ ด้วยหรือเปล่า? ผมคิดว่าสเปกแบบนี้ไม่ค่อยสมจริงนักหากจะเรียกว่าเป็นพีซีระดับผู้บริโภคหรือคอมพิวเตอร์ส่วนบุคคล
ในบริบทนี้ คอมพิวเตอร์ส่วนบุคคลโดยทั่วไปก็มักจะหมายถึงประมาณว่า 'มีวางขายอยู่ในตลาด B2C และสามารถซื้อได้ (ไม่ว่าราคาจะเท่าไรก็ตาม)' ดูเหมือนว่าจะยังห่างไกลจากคำว่า 'ทุกคนสามารถใช้งานได้' อยู่มาก
สถานการณ์มีได้หลากหลายครับ ผมเองก็ใช้ MacBook Pro 96GB ส่วนตัวอยู่ แต่ถึงจะไม่ได้ทำงานพัฒนาด้าน LLM โดยตรง ก็ยังเจอว่า Swap เต็มบ่อย ๆ
แรม 64GB บนโน้ตบุ๊กทั่วไป...?? ฮือๆ
น่าจะเรียกว่าเป็นฮาร์ดแวร์ระดับผู้บริโภคจะเหมาะสมกว่านิดหน่อย