จะเปลี่ยนสายไปเป็นวิศวกรแมชชีนเลิร์นนิงได้อย่างไร?

• เป็นซอฟต์แวร์เอนจิเนียร์ที่สร้างแอปพลิเคชันที่ขับเคลื่อนด้วยข้อมูลมานานกว่า 10 ปี ส่วนใหญ่ทำแบ็กเอนด์ (legacy, cloud)
• (1) ควรเปลี่ยนสายไหม? (2) มีใครเคยทำไหม? (3) ในงานของผมไม่มี ML แล้วจะทำได้อย่างไร?
• มีงานสายวิศวกรรม ML ที่เน้นการจัดการ/ดีพลอย/สเกลโมเดลมากกว่าการสร้างโมเดลหรือไม่?
  • กล่าวคือ จะไม่ต้องเรียนคณิตศาสตร์ทั้งหมดที่อยู่เบื้องหลังได้ไหม?

arnabgho

• ทำงานเป็น MLE tech lead ที่ Snap และวางรากฐานให้โครงสร้างพื้นฐาน generative AI ของ Snap
  • อยากแนะนำเส้นทางอาชีพ MLE อย่างมาก เพราะเป็นเส้นทางที่คุ้มค่ามาก
• หนังสือ "Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications" เป็นหนังสือเริ่มต้นที่ดีมากเกี่ยวกับการออกแบบระบบแมชชีนเลิร์นนิงสำหรับโปรดักชัน
• ขอแนะนำบล็อกนี้ที่เขียนโดยผู้เขียนคนดังกล่าว (Chip Huyen) ในฐานะบทนำสู่การสร้างระบบ AI และ ML ระดับโปรดักชัน
  การสร้างแอปพลิเคชัน LLM สำหรับโปรดักชัน (มีลิงก์ไปยังสรุปและบทแปล)
• คำตอบสำหรับคำถาม
  • (1) ใช่ โดยเฉพาะอย่างยิ่ง การเปลี่ยนสายแบบนี้ถือว่าฉลาดในช่วงหัวเลี้ยวหัวต่อของยุคสมัยแบบตอนนี้
  • (2) ใช่
  • (3) ดูแหล่งข้อมูลข้างต้นเกี่ยวกับวิธีเริ่มต้นและฝึกฝนทักษะวิศวกรรม ML ให้เชี่ยวชาญ

breckenedge

• เมื่อราว 7 เดือนก่อน ได้เริ่มทำโปรเจ็กต์ 3 เดือนเพื่อสร้างระบบแนะนำคอนเทนต์โดยใช้ ML
• เริ่มจากไลบรารี collaborative filtering สำเร็จรูป แล้วจบที่ PyTorch โดย ChatGPT ช่วยได้มาก
• จะเดินต่อในเส้นทางนั้นก็ได้ แต่ผู้บริหารต้องการผลลัพธ์ที่เร็วกว่าและดีกว่า และตอนเริ่มโดยไม่มีประสบการณ์ 3 เดือนก็เป็นเวลาที่พอจะจับทางได้
• ML จำนวนมากคือการจัดระเบียบและเตรียมชุดข้อมูล ซึ่งไม่ได้สนุกเท่าไร
• มีผู้บริหารคนหนึ่งแนะนำให้ลองใช้ Amazon Personalize แม้จะลองอย่างจริงจังแล้ว แต่สุดท้ายก็ไม่สำเร็จ ไม่แน่ใจว่าเป็นปัญหาข้อมูลหรือปัญหาของโมเดลพื้นฐาน
• แก่นของปัญหาเมื่อใช้บริการ ML แบบกล่องดำคือ ไม่สามารถวิเคราะห์ได้ว่าเกิดอะไรขึ้น
• Amazon Personalize ทำให้การเปลี่ยน data layer เป็นเรื่องยาก จึงไม่รู้ว่ากำลังเข้าใกล้โซลูชันที่ดีกว่าหรือไม่
• ถ้ามีผู้เชี่ยวชาญ ML ที่ชำนาญใช้ Personalize ก็อาจเข้าใกล้โซลูชันที่ดีกว่าได้
• ดังนั้น หากพอจะทำ ML ได้ ก็ควรลองทำโปรเจ็กต์ทดลอง ML ก่อนตัดสินใจทำเป็นอาชีพ เพื่อดูว่าชอบไหม

nsyptras

• > มีงานสายวิศวกรรม ML ที่เน้นการจัดการ/ดีพลอย/ขยายระบบโมเดลมากกว่าการสร้างโมเดลหรือไม่?
• ผมเปลี่ยนมาทางนี้ในปี 2018 เรียกว่า MLOps ก่อนหน้านั้นเป็นนักพัฒนาโมบายล์
• ตอนนั้นเปลี่ยนค่อนข้างง่าย (ตอนนี้การแข่งขันอาจดุเดือดกว่าก็ได้)
• สิ่งที่ผมทำ:
  • ทำโปรเจ็กต์ ML เข้มข้นด้วยตัวเอง แล้วพบว่าชอบการทำงานครอบคลุมทั้ง ML stack
  • ยังเขียน [บล็อกโพสต์]((https://www.nicksypteras.com/blog/aisu.html) เกี่ยวกับโปรเจ็กต์นี้ด้วย
  • จากนั้นก็สมัครเข้าทีม MLOps และใช้โปรเจ็กต์นี้พิสูจน์ทักษะ/ประสบการณ์
  • คุณอาจหลีกเลี่ยงคณิตศาสตร์ได้ แต่ถ้าเรียนพื้นฐานไว้ ทุกอย่างจะง่ายขึ้นมาก
  • ผมคิดว่าถ้าไม่มีคณิตศาสตร์พื้นฐานของ ML เลย ก็คงเหมือนบินแบบมองไม่เห็นทางมาก

ilaksh

• ดูเหมือนคุณกำลังนึกถึง "MLOps" ซึ่ง MLOps ก็สำคัญเช่นกัน
• ลองฝึกดีพลอยโมเดลด้วย Python ผ่าน HuggingFace และ RunPod
• นอกจากนี้ให้หาทั้งบทแนะนำเรื่องการ pretrain, fine-tune และประเมินผล LLM และลองดู Predibase ด้วย
• ตอนนี้สิ่งที่สำคัญที่สุดน่าจะเป็น diffusion transformer
  • ถ้าหาเอกสารที่อธิบายวิธีรันงานเทรนสำหรับสิ่งนี้ได้ ก็อาจเป็นประโยชน์ต่อผู้คน
• ถ้าอยาก "โกงทางลัด" ให้ลองดู replicate.com; cog ก็อาจมีประโยชน์สำหรับ self-host โมเดล ML นอก replicate.com เช่นกัน

nottorp

• ผมไม่ได้ "เปลี่ยนไปเป็นวิศวกร ML" โดยตรง แต่ในช่วง 2.5 เดือนที่ผ่านมา ได้เรียนรู้ระดับหนึ่งเกี่ยวกับการใช้โมเดลสาธารณะ และวิธีเทรนกับรันมันโดยใช้เครื่องมือและ API
• แทบไม่ได้เขียนโค้ด แต่ใช้เวลาอ่านหนังสือเยอะมาก
• การทำงานกับองค์กรขนาดเล็ก (ที่ไม่ได้ยึดติดกับบทบาทตายตัว แต่ให้ทำงานที่ต้องทำ) ช่วยได้

trybackprop

• ผมได้เขียนและแชร์บล็อกโพสต์เกี่ยวกับเรื่องนี้สำหรับซอฟต์แวร์เอนจิเนียร์ที่มีประสบการณ์ซึ่งกำลังพิจารณาเปลี่ยนมาทำ ML จริงจัง
  • You Don't Need a Masters/PhD – How These 9 Engineers Broke Into ML
  • เป็นบทความที่แนะนำกรณีของวิศวกรหลายคนที่เปลี่ยนสายขณะทำงานที่ Meta, Google, Amazon และ OpenAI
  • คุณจะได้เห็นว่าพวกเขาใช้กลยุทธ์และวิธีการอะไร
• คำตอบ
  • 1. ถ้าคุณสนุกกับการแฮ็กอะไรเล่นในเวลาส่วนตัว ก็ถือได้ว่าเป็นการตัดสินใจที่ 'ฉลาด' ผมเองก่อนเปลี่ยนสาย ใช้เวลา 1 ปีอ่านและศึกษาสื่อในตอนกลางคืนกับวันหยุดสุดสัปดาห์ จนเริ่มคิดว่าอยากทำสิ่งนี้เป็นงานเต็มเวลา
  • 2. ใช่ และตอนนี้ก็ทำงานเป็นวิศวกร ML มา 7 ปีแล้ว ปัจจุบันเป็นหัวหน้าฝ่ายเทคนิค ML ที่ FAANG ก่อนหน้านี้ทำงานด้านอินฟรากับโปรดักต์
  • 3. คำแนะนำอย่างหนึ่งที่ผมได้รับเมื่อหลายปีก่อนคือ ให้เข้าร่วมทีมที่อยู่ติดกับงาน ML เพื่อจะได้คุ้นเคยว่า ML สำหรับโปรดักชันหน้าตาเป็นอย่างไร คุณอาจเริ่มฝึกแนวคิดแบบ ML ได้จาก Kaggle.com ด้วย
• ในโพสต์อื่น ๆ บนบล็อกของผม คุณสามารถดูแหล่งข้อมูลเพื่อเรียนรู้ AI/ML และคณิตศาสตร์ที่จำเป็นสำหรับอาชีพนี้ได้
• Linear Algebra 101 for AI/ML – Part 1
• (มีทั้งควิซแบบโต้ตอบ พื้นฐานเวกเตอร์/เมทริกซ์ และบทนำสั้น ๆ เกี่ยวกับ PyTorch ซึ่งเป็นเฟรมเวิร์ก ML โอเพนซอร์สที่ใช้กันอย่างแพร่หลายในอุตสาหกรรม)

deepGem

• ลองดู fast.ai อย่าง "Practical Deep Learning for Coders
• แม้จะเป็นเนื้อหาจากปี 2022 แต่หลักการที่เรียนจากที่นี่ทุกวันนี้ก็ยังใช้ได้มากและมีประโยชน์มาก
• โดยเฉพาะ Self Attention, ทรานส์ฟอร์เมอร์ และสถาปัตยกรรมสมัยใหม่ที่สร้างบนแนวคิดเหล่านี้
• หลายคนที่เรียนจบคอร์ส fast.ai ได้เปลี่ยนอาชีพไปเป็นทั้งวิศวกร ML และนักวิจัยวิทยาศาสตร์
• พูดก็พูดเถอะ มันไม่ใช่คอร์สที่ง่าย ดังนั้นต้องหาเวลาเรียนในเวลาว่าง
• ถ้าคุณสนใจเรื่องการดีพลอย/สเกล ก็ข้ามไปดูบทเรียนที่ 2 ของพาร์ต 1 ได้เลย Jeremy เป็นครูที่ยอดเยี่ยมมาก
  • ผมไม่ได้มาจากสายวิชาการ จึงคิดว่าสไตล์การสอนของเขาดีต่อสุขภาพความคิดมาก

[rawoon89]

อ่านได้เพลินมากครับ ขอบคุณครับ

[ahwjdekf]

ในเกาหลี แค่รู้ระดับการเรียกใช้ API ก็พอแล้ว บริษัทต่าง ๆ ไม่ค่อยอยากลงทุนหนัก แต่ก็ยังอยากตามกระแสที่กำลังฮอตอยู่บ้าง... เป็นบรรยากาศที่ก้ำกึ่งแบบนั้น