Flat Data - ใช้ GitHub เป็นเครื่องมือและที่เก็บข้อมูลสำหรับ Data ETL

• โปรเจกต์ที่ช่วยให้พัฒนาแอปแบบเบาซึ่งขับเคลื่อนด้วยข้อมูลได้ง่าย โดยใช้เทคนิค Git Scraping

→ สร้างและใช้งาน Data ETL ได้โดยไม่ต้องมีโครงสร้างพื้นฐานของตัวเอง

• มี 3 คอมโพเนนต์

→ Flat Action : GitHub Action สำหรับดึง/แปลงข้อมูล

→ Flat Editor : GUI สำหรับแก้ไข Flat Data Workflow (ส่วนขยาย VS Code)

→ Flat Viewer : เว็บไซต์สำหรับดู กรอง และแชร์ Flatfile ที่เก็บไว้ใน Repo

วิธีใช้ Flat Data

1. ใช้ Flat Action ดึงข้อมูลผ่าน HTTP หรือ SQL Query (MySQL, Postgres, SQLite, MongoDB เป็นต้น)

→ ดึงข้อมูลอย่างราคาหุ้น/คริปโต, Excel to CSV, COVID Dashboard เป็นต้น แล้วบันทึกไว้ใน GitHub Repo เป็นต้น

2. แปลงข้อมูล

→ Postprocess ด้วย GitHub Action แล้วบันทึกเป็นไฟล์ใหม่

3. แสดงผลข้อมูลเป็นภาพ

→ มีเครื่องมือ GUI สำหรับแสดงข้อมูล เพียงเติม flat หน้าทุกที่อยู่ GitHub : https://flatgithub.com/the-pudding/data

เหตุผลที่สร้าง Flat Data

• การนำข้อมูลมาใช้งานมักต้องอาศัยระบบแบบกระจายและโครงสร้างพื้นฐานขนาดใหญ่

• เพื่อช่วยให้นักพัฒนาเข้าถึงข้อมูลเหล่านี้ได้ง่าย โดยให้ทำงานด้านการดึง/จัดระเบียบข้อมูลผ่าน GitHub Actions

• จัดเก็บข้อมูลไว้ใน Repo ได้โดยไม่ต้องรู้เรื่อง dependency, library, package manager, infrastructure ที่ซับซ้อน

• โปรเจกต์นี้เป็นการทดลองที่ดำเนินการโดยทีม Developer Experience ของ GitHub OCTO (Office of the CTO) ไม่ใช่ผลิตภัณฑ์ทางการของ GitHub ใช้สัญญาอนุญาต MIT

[xguru]

ดูเหมือนว่า GitHub ได้นำเทคนิค Git Scraping ที่ Simon Willison สร้างขึ้นมาต่อยอดจนกลายเป็นผลิตภัณฑ์ที่ยอดเยี่ยม

• Git Scraping - บันทึกการเปลี่ยนแปลงของเว็บลงใน Git Repo https://th.news.hada.io/topic?id=3008

Simon ยังมีชื่อเสียงจากเคล็ดลับในการเก็บ TIL (Today I Learned) ไว้ในดัชนีของ GitHub ด้วย

• สร้างดัชนี README ของ TIL อัตโนมัติด้วย GitHub Actions https://th.news.hada.io/topic?id=1936