- วงการ วิศวกรรมข้อมูลกำลังเผชิญแรงกดดันสองด้าน จากการขยายตัวของ AI และการสะสมของ technical debt ทำให้แนวโน้มการแยกขั้วรุนแรงขึ้น
- ระดับการใช้งาน AI กลายเป็นหัวใจของความสามารถในการแข่งขัน โดยการใช้งานในชีวิตประจำวันจะกลายเป็นเรื่องปกติจนคำว่า “AI-assisted” อาจหายไปเอง
- ความสำคัญของ การทำ data modeling และ semantic layer เพิ่มสูงขึ้นอย่างมาก ขณะที่ความต้องการด้านการเรียนรู้ที่เกี่ยวข้องเพิ่มขึ้น และ การรวมเครื่องมือกับระบบอัตโนมัติ ก็เร่งตัวขึ้น
- ตลาด เครื่องมือ orchestration อาจเคลื่อนจากการมี Airflow เป็นศูนย์กลางไปสู่เครื่องมือรุ่นใหม่อย่าง Dagster และ Prefect หรือถูกดูดซับเข้าเป็นส่วนหนึ่งของแพลตฟอร์ม
- การขาดผู้นำและความไม่มีประสิทธิภาพในระดับองค์กร ถูกชี้ว่าเป็นคอขวดที่ใหญ่ที่สุด และทำให้ การสร้างขีดความสามารถขององค์กร กลายเป็นปัจจัยชี้ชะตาการอยู่รอดมากกว่าเทคโนโลยี
ภาพรวมแนวโน้มของวิศวกรรมข้อมูล
- ปัญหาที่ดำเนินมายาวนานอย่าง การขาดผู้นำ ความไม่ชัดเจนของความเป็นเจ้าของ technical debt และแรงกดดันด้านเวลา ยังไม่ได้รับการแก้ไข
- การเร่งตัวของ AI ทำให้ปัญหาเหล่านี้รุนแรงขึ้น ขณะเดียวกันก็เปิดโอกาสให้บางด้านดีขึ้นได้
- ช่องว่างระหว่าง ทีมที่ลงทุนในขีดความสามารถพื้นฐานกับทีมที่ไม่ลงทุน กำลังขยายตัว
- การขาด data modeling เป็นปัญหาหลัก โดย 38% ของทีมที่ไม่ทำ modeling ต้องคอยแก้ปัญหาซ้ำๆ อยู่บ่อยครั้ง
- ในทางกลับกัน ทีมที่มีระบบ modeling ที่ดีจะเจอปัญหาน้อยกว่า
- ประเด็นสำคัญของปี 2026 คือ “หนี้จากอดีตกำลังย้อนกลับมาพร้อมดอกเบี้ยสูง” ซึ่งหมายถึง แรงกดดันในการสะสาง technical debt ที่เพิ่มขึ้น
1. หากเมิน AI การอยู่รอดจะยากมาก
- ในกลุ่มผู้ตอบแบบสำรวจ 82% ใช้ AI ทุกวัน ซึ่งกลายเป็นข้อกำหนดพื้นฐานไปแล้ว
- 64% ยังอยู่ในระดับทดลองหรือเชิงยุทธวิธี ขณะที่ 10% ผสาน AI เข้ากับ workflow อย่างสมบูรณ์
- คาดว่าทีมกลุ่มหลังจะทิ้งห่างอย่างรวดเร็ว
- ภายในปลายปี 2026 คำว่า “AI-assisted” อาจ กลายเป็นสิ่งพื้นฐานจนหายไปจากคำบรรยายตำแหน่งงาน
- อย่างไรก็ตาม ความสำคัญของ data modeling ยังคงอยู่
2. วิกฤต data modeling และ semantic layer
- 89% ประสบปัญหาเกี่ยวกับ data modeling และมีเพียง 5% เท่านั้นที่ใช้ semantic model
- มีการเสนอ 2 เส้นทาง
- เส้นทาง A: semantic layer และ context layer แพร่หลายจนกลายเป็นกระแสหลัก
- เส้นทาง B: AI สร้างโมเดลแบบเฉพาะหน้า ทำให้ความจำเป็นของ semantic layer ลดลง
- มีการมองว่า เส้นทาง A จะเกิดขึ้นก่อน และต่อมา AI model อาจเข้ามาแทนที่
- semantic layer และ ontology tooling ถูกคาดว่าจะเป็นจุดเปลี่ยนสำคัญของปี 2026 และพบว่า ความต้องการด้านการเรียนรู้เรื่อง modeling และ semantics อยู่ที่อย่างละ 19%
3. การรวมศูนย์หรือการเลือนหายของ orchestration
- ในบรรดาองค์กรทั้งหมด 20% ไม่ได้ใช้เครื่องมือ orchestration ซึ่งถูกประเมินว่าเป็นสภาวะที่ไม่มั่นคง
- บางส่วนยังพึ่งพากระบวนการแบบแมนนวลหรือเครื่องมือไม่เป็นทางการอย่าง cron
- Airflow และ cloud-native orchestration ยังคงเป็นกระแสหลัก โดย
- Dagster อยู่ที่ 12% ในธุรกิจขนาดกลางและเล็ก และ 2.6% ในองค์กรขนาดใหญ่ แสดงแนวโน้มการแพร่กระจายแบบ bottom-up มากกว่าจากบนลงล่าง
- orchestration สำหรับ AI agent ยังอยู่ในช่วงที่ไม่แน่นอน
- ในอนาคตอาจเกิดทั้ง การเจาะตลาดองค์กรของ Dagster และ Prefect หรือ การถูกรวมเข้าแพลตฟอร์ม (Databricks, Snowflake, dbt Cloud เป็นต้น)
4. จุดจบของข้อถกเถียง lakehouse vs warehouse
- สัดส่วนปัจจุบันคือ warehouse 44%, lakehouse 27%, hybrid 12%
- และมีการกล่าวว่าในปี 2027 อาจลู่เข้าสู่ 35% / 35% / 30%
- จาก การที่ความสามารถของ Snowflake และ Databricks เริ่มบรรจบกัน ทำให้การแบ่งว่า “Lakehouse” อาจค่อยๆ สูญเสียความหมายและถูกทำให้เป็นมาตรฐาน
- อัตราการใช้งาน lakehouse 40% ในลาตินอเมริกา ถูกจับตามองในฐานะตัวชี้นำล่วงหน้า
- ภายในปลายปี 2026 การถกเถียงเรื่อง “warehouse vs lakehouse” อาจถูกมองว่าเป็นประเด็นที่ล้าสมัย
5. ภาวะผู้นำกลายเป็นคอขวดที่ใหญ่ที่สุด
- 22% ของวิศวกรข้อมูลชี้ว่าการขาดภาวะผู้นำ คือปัญหาหลัก
- ซึ่งอยู่ในระดับใกล้เคียงกับ technical debt (26%)
- ข้อกำหนดความต้องการที่ไม่ชัดเจนหรือไม่ดีพอ (18%) ก็ปรากฏร่วมกัน สะท้อนถึงความไม่มีประสิทธิภาพในองค์กร
- ท่ามกลางกระแสการนำ AI มาใช้ การทบทวนตัวเองของผู้นำและการปรับปรุงการออกแบบองค์กร กลายเป็นงานสำคัญที่หลีกเลี่ยงไม่ได้
- ในปี 2026 คาดว่าจะมีคอนเทนต์และการเรียนรู้เกี่ยวกับ data leadership, stakeholder management และ organizational design เพิ่มขึ้น
เทรนด์โบนัส: การหายไปของบางทีม
- 7% ของทีมคาดว่าจะถูกลดขนาด และในกลุ่มนี้ 30% ชี้ว่าการขาดผู้นำคือคอขวด
- นี่ไม่ใช่การลดขนาดจากประสิทธิภาพของ AI แต่เป็น การหดตัวเพราะความไม่พร้อมในระดับองค์กร
- ในปี 2026 บางทีมข้อมูลอาจ ถูกยุบ รวมเข้ากับฝ่ายวิศวกรรม หรือถูก outsource
- มีเพียงทีมที่พิสูจน์คุณค่าทางธุรกิจได้เท่านั้นที่จะอยู่รอด เพราะความสามารถทางเทคนิคเพียงอย่างเดียวไม่เพียงพอต่อความยั่งยืน
บทสรุป
- แก่นสำคัญของวิศวกรรมข้อมูลในปี 2026 ไม่ใช่ การเลือกเครื่องมือ แต่คือ ความสามารถในการลงมือทำขององค์กร
- ความสามารถในการใช้ AI ระบบ data modeling และคุณภาพของภาวะผู้นำ จะเป็นเกณฑ์ตัดสินการอยู่รอด
- นี่คือช่วงเวลาที่ ความเป็นผู้ใหญ่ขององค์กรและโครงสร้างการทำงานร่วมกัน จะเป็นตัวกำหนดความได้เปรียบในการแข่งขันมากกว่าความก้าวหน้าทางเทคโนโลยี
ยังไม่มีความคิดเห็น