Flat Data - ใช้ GitHub เป็นเครื่องมือและที่เก็บข้อมูลสำหรับ Data ETL

<p>- โปรเจกต์ที่ช่วยให้พัฒนาแอปแบบเบาซึ่งขับเคลื่อนด้วยข้อมูลได้ง่าย โดยใช้เทคนิค Git Scraping<br /> → สร้างและใช้งาน Data ETL ได้โดยไม่ต้องมีโครงสร้างพื้นฐานของตัวเอง<br /> - มี 3 คอมโพเนนต์<br /> → Flat Action : GitHub Action สำหรับดึง/แปลงข้อมูล<br /> → Flat Editor : GUI สำหรับแก้ไข Flat Data Workflow (ส่วนขยาย VS Code)<br /> → Flat Viewer : เว็บไซต์สำหรับดู กรอง และแชร์ Flatfile ที่เก็บไว้ใน Repo <br /> <br /> วิธีใช้ Flat Data<br /> 1. ใช้ Flat Action ดึงข้อมูลผ่าน HTTP หรือ SQL Query (MySQL, Postgres, SQLite, MongoDB เป็นต้น) <br /> → ดึงข้อมูลอย่างราคาหุ้น/คริปโต, Excel to CSV, COVID Dashboard เป็นต้น แล้วบันทึกไว้ใน GitHub Repo เป็นต้น<br /> 2. แปลงข้อมูล <br /> → Postprocess ด้วย GitHub Action แล้วบันทึกเป็นไฟล์ใหม่ <br /> 3. แสดงผลข้อมูลเป็นภาพ <br /> → มีเครื่องมือ GUI สำหรับแสดงข้อมูล เพียงเติม `flat` หน้าทุกที่อยู่ GitHub : https://flatgithub.com/the-pudding/data<br /> <br /> เหตุผลที่สร้าง Flat Data<br /> - การนำข้อมูลมาใช้งานมักต้องอาศัยระบบแบบกระจายและโครงสร้างพื้นฐานขนาดใหญ่ <br /> - เพื่อช่วยให้นักพัฒนาเข้าถึงข้อมูลเหล่านี้ได้ง่าย โดยให้ทำงานด้านการดึง/จัดระเบียบข้อมูลผ่าน GitHub Actions <br /> - จัดเก็บข้อมูลไว้ใน Repo ได้โดยไม่ต้องรู้เรื่อง dependency, library, package manager, infrastructure ที่ซับซ้อน<br /> <br /> * โปรเจกต์นี้เป็นการทดลองที่ดำเนินการโดยทีม Developer Experience ของ GitHub OCTO (Office of the CTO) ไม่ใช่ผลิตภัณฑ์ทางการของ GitHub ใช้สัญญาอนุญาต MIT </p>

[xguru]

<p>ดูเหมือนว่า GitHub ได้นำเทคนิค Git Scraping ที่ Simon Willison สร้างขึ้นมาต่อยอดจนกลายเป็นผลิตภัณฑ์ที่ยอดเยี่ยม<br /> - Git Scraping - บันทึกการเปลี่ยนแปลงของเว็บลงใน Git Repo https://th.news.hada.io/topic?id=3008<br /> <br /> Simon ยังมีชื่อเสียงจากเคล็ดลับในการเก็บ TIL (Today I Learned) ไว้ในดัชนีของ GitHub ด้วย<br /> - สร้างดัชนี README ของ TIL อัตโนมัติด้วย GitHub Actions https://th.news.hada.io/topic?id=1936</p&gt;