- ความฝันที่จะมาแทนที่นักพัฒนาวิเคราะห์ข้อมูล ถูกพูดถึงซ้ำมาตลอด 50 ปี ตั้งแต่ SQL จนถึง AI แม้เครื่องมือจะเปลี่ยนไป แต่ความจำเป็นของผู้เชี่ยวชาญก็ไม่เคยหายไป
- เครื่องมือของแต่ละยุค ช่วยเพิ่มผลิตภาพได้จริง แต่แกนหลักของงานอย่างความเข้าใจธุรกิจและการตัดสินใจด้านการทำโมเดลยังไม่สามารถทำให้เป็นอัตโนมัติได้
- Self-service, semantic layer และ analytics engineering ช่วยขยายการเข้าถึง แต่ก็สร้างบทบาทผู้เชี่ยวชาญรูปแบบใหม่ขึ้นมา
- เครื่องมือที่ขับเคลื่อนด้วย AI เพิ่มความเร็วในการสร้างโค้ดได้อย่างมาก แต่กระบวนการคิดเพื่อตัดสินใจว่าจะสร้างอะไรยังคงเป็นหน้าที่ของมนุษย์
- คอขวดของงานข้อมูล ไม่ได้อยู่ที่การพิมพ์หรือเครื่องมือ แต่อยู่ที่การคิดและการตัดสินใจ ซึ่งเป็นความจริงที่ไม่เปลี่ยนมาตลอด 50 ปี
- บทความนี้ได้รับแรงบันดาลใจจาก "ความฝันในการแทนที่นักพัฒนาที่หวนกลับมาทุก 10 ปี" และนำมาสรุปในมุมของงานด้านข้อมูล
รูปแบบที่วนซ้ำ: ทำไมความฝันเดิมจึงกลับมาเสมอ
- ทุก ๆ 10 ปีจะมีเครื่องมือใหม่เกิดขึ้น พร้อมคำสัญญาว่าจะทำให้การสร้างแพลตฟอร์มข้อมูลง่ายขึ้นและลดการพึ่งพาผู้เชี่ยวชาญ
- ฝั่งธุรกิจไม่พอใจกับความล่าช้าในการได้รับข้อมูล ขณะที่ทีมข้อมูลก็ยังต้องรับมือกับคำขอที่ไม่มีวันจบ
- เหตุผลที่วัฏจักรนี้เกิดซ้ำตลอด 50 ปี อยู่ที่ธรรมชาติพื้นฐานของงานวิเคราะห์ข้อมูล
1974: การถือกำเนิดของ SQL และ ‘ฐานข้อมูลที่พูดภาษาอังกฤษ’
- SQL ถูกออกแบบมาเพื่อให้คนที่ไม่ใช่นักพัฒนาก็สามารถ query ข้อมูลได้ แต่ในทางปฏิบัติยังต้องเข้าใจ join และการ aggregate ที่ซับซ้อน
- อุดมคติที่ผู้ใช้ธุรกิจจะ query ได้ด้วยตัวเองไม่เคยเกิดขึ้นจริง และกลับมีบทบาทผู้เชี่ยวชาญแบบใหม่เกิดขึ้น
- การเข้าถึงข้อมูลง่ายขึ้นก็จริง แต่ยังคงต้องอาศัยความเชี่ยวชาญ
ทศวรรษ 1980: คำสัญญาของ OLAP และภาษายุคที่ 4
- แนวคิดที่ว่าหากจัดโครงสร้างข้อมูลให้สอดคล้องกับวิธีคิดของธุรกิจ ผู้ใช้ก็จะวิเคราะห์ได้ด้วยตัวเอง เริ่มแพร่หลาย
- เซิร์ฟเวอร์ MOLAP มอบผลิตภาพที่จับต้องได้จริงให้กับฝ่ายการเงินและฝ่ายวางแผน
- แต่การออกแบบมิติ การปรับประสิทธิภาพ และงานบูรณาการก็ยังต้องใช้ความรู้เฉพาะทาง
- เครื่องมือเปลี่ยนไป แต่บทบาทของผู้เชี่ยวชาญเพียงแค่เปลี่ยนรูปแบบ
ทศวรรษ 1990: Data warehouse และ dimensional modeling
- Dimensional modeling คือความพยายามซ่อนความซับซ้อนไว้ในชั้น ETL เพื่อทำให้การวิเคราะห์ของผู้ใช้ง่ายขึ้น
- แม้มีการลงทุนขนาดใหญ่ แต่หลายโครงการก็ล่าช้าหรือล้มเหลว
- งานอย่างการทำโมเดลกฎธุรกิจและข้อยกเว้นให้ถูกต้องยังคงเป็นพื้นที่ที่ทำอัตโนมัติไม่ได้
ทศวรรษ 2000: Semantic layer และ self-service BI
- Semantic layer ทำหน้าที่ abstract คำศัพท์ทางเทคนิคให้กลายเป็นภาษาธุรกิจ
- Self-service BI ช่วยเพิ่มการเข้าถึงการทำ visualization อย่างมาก
- แต่ปัญหาใหม่อย่างคำนิยามไม่ตรงกันและความสับสนของข้อมูลก็เกิดขึ้นตามมา
- การบริหารจัดการแบบรวมศูนย์และ governance จึงกลับมามีความสำคัญอีกครั้ง
ทศวรรษ 2010: Analytics engineering และ ELT
- การแพร่หลายของ cloud data warehouse ทำให้การแปลงข้อมูลด้วย SQL เป็นไปได้
- นักวิเคราะห์สามารถสร้างบางส่วนของ data pipeline ได้ด้วยตัวเอง
- dbt นำแนวปฏิบัติแบบงานพัฒนา เช่น testing, documentation และ version control เข้ามาใช้ในงานข้อมูล
- ยิ่งโครงการมีขนาดใหญ่ ความสำคัญของสถาปัตยกรรมและการตัดสินใจก็ยิ่งยังคงอยู่
ยุค AI: อะไรเปลี่ยนไป และอะไรยังเหมือนเดิม
- AI ทำงานเชิงกลที่เปลี่ยนความตั้งใจให้กลายเป็นโค้ดได้รวดเร็วมาก
- แต่การเลือกประเภทของ dimensional design การนิยาม metric และการหาฉันทามติทางธุรกิจยังต้องพึ่งการตัดสินใจของมนุษย์
- แม้ความเร็วในการพัฒนาจะเพิ่มขึ้น แต่เวลารวมของโครงการยังถูกใช้ไปกับการคิดและการประสานงาน
- การเปลี่ยนแปลงที่ใหญ่ที่สุดคือ feedback loop สั้นลง ทำให้ปรับปรุงแบบ iterative ได้
ข้อจำกัดที่ไม่เปลี่ยน: ความซับซ้อนของการคิด
- Data warehouse คือแบบจำลองของธุรกิจ และจำเป็นต้องเข้าใจมันอย่างถูกต้อง
- เบื้องหลังความต้องการที่ดูเหมือนเป็นคำถามง่าย ๆ มีคำนิยามและข้อยกเว้นจำนวนมากซ่อนอยู่
- นี่คือความซับซ้อนที่ไม่อาจลบออกได้ด้วยเครื่องมือ
ความหมายสำหรับผู้นำด้านข้อมูล
- ประเด็นสำคัญไม่ใช่ว่าเครื่องมือจะมาแทนผู้เชี่ยวชาญได้หรือไม่ แต่คือมันช่วยเพิ่มผลิตภาพของผู้เชี่ยวชาญได้มากแค่ไหน
- จำเป็นต้องประเมินว่าเครื่องมือนั้นช่วยลดงานซ้ำ ๆ และเปิดโอกาสให้โฟกัสกับการตัดสินใจที่มีมูลค่าสูงได้หรือไม่
- เครื่องมือใหม่ย่อมต้องการทักษะความสามารถรูปแบบใหม่
ทำไมความฝันนี้จึงยังคงอยู่
- ความฝันที่จะกำจัดผู้เชี่ยวชาญออกไปทำหน้าที่เป็นแรงผลักดันให้เกิดนวัตกรรมของเครื่องมือมาโดยตลอด
- แม้ความฝันนี้จะไม่เคยสำเร็จอย่างสมบูรณ์ แต่ระหว่างทางมันก็สร้างคุณค่าที่แท้จริงขึ้นมา
- AI ก็เช่นกัน มันไม่ได้มาแทนที่ผู้เชี่ยวชาญ แต่ทำให้ผู้เชี่ยวชาญทำงานได้มีประสิทธิภาพมากขึ้น
ทิศทางต่อจากนี้
- ไม่มีเหตุผลที่จะปฏิเสธเครื่องมือใหม่ แต่ควรตั้งความคาดหวังอย่างสมจริง
- สิ่งที่ควรลงทุนหลักไม่ใช่เครื่องมือ แต่คือคนที่เข้าใจความซับซ้อนของธุรกิจ
- การวิเคราะห์ข้อมูลท้ายที่สุดคือการเปลี่ยนความเข้าใจธุรกิจให้อยู่ในรูปแบบที่สามารถ query ได้
- สิ่งที่ไม่เปลี่ยนเลยตลอด 50 ปีคือ การตัดสินใจและการคิดยังคงเป็นคอขวดที่ใหญ่ที่สุด
ยังไม่มีความคิดเห็น