ผมได้สร้าง Semantic Model Registry ขึ้นมาครับ

สวัสดีครับ นี่เป็นครั้งแรกที่ได้ทักทายกัน เลยมือสั่นนิดหน่อยตอนเขียนโพสต์นี้

เป้าหมาย

บริการนี้เกิดขึ้นจากไอเดียที่นึกได้หลังจากอ่านโพสต์ https://th.news.hada.io/topic?id=26967 [ Data Engineering หลังยุค AI ]
เป็นบริการที่ตั้งใจจะทำให้สามารถ import, export และ search รูปแบบ semantic model หลายแบบได้ โดยมีฟอร์แมต OSI เป็นศูนย์กลาง

เหตุผลที่สร้าง

ผมคิดว่าตอนนี้เรื่อง semantic model กำลังถูกพูดถึงมากขึ้นเรื่อย ๆ ระหว่างนั้น รูปแบบที่หลายบริษัทตกลงร่วมกันคือ OSI (Open Semantic Interchange) และเมื่อไม่นานมานี้ก็ได้ปล่อยเวอร์ชัน 1.0 ออกมาแล้ว

มันจะกลายเป็นมาตรฐานจริงหรือไม่นั้นยังตอบไม่ได้ แต่ผมอยากลองแก้ปัญหาฝั่ง supply chain ก่อนที่ความต้องการจะเกิดขึ้น และมีส่วนร่วมกับโปรเจกต์ระดับนานาชาติ จึงได้ทำสิ่งนี้ขึ้นมา (แม้ในส่วนของการแชร์ semantic asset จะยังพักการตัดสินใจไว้นิดหน่อยว่ามีความต้องการจริงหรือไม่)

ฟีเจอร์

ฟีเจอร์ถูกพัฒนาออกเป็น 3 ส่วนคือ Python SDK, CLI และเว็บ ซึ่งทั้งหมดมีความสามารถเหมือนกัน

• ตั้งใจจะให้สามารถ import semantic model ที่มีอยู่แล้วอย่าง dbt metric flow แล้วแปลงเป็นฟอร์แมต OSI ได้ และทำย้อนกลับได้เช่นกัน
  แน่นอนว่าก็กำลังคิดอยู่เหมือนกันว่าจะเติมบริบทที่สูญหายไประหว่างการแปลงอย่างไร
• นอกจากนี้จะไม่จบแค่การค้นหาแบบง่าย ๆ แต่มีแผนเพิ่มฟีเจอร์ด้านความสะดวกหลังการค้นหา เช่น ดูพรีวิว และตรวจสอบ measure, dimension เป็นต้น ได้ง่ายขึ้น
• และเมื่อ semantic layer ที่มีอยู่แล้วบน GitHub ถูกทำดัชนีไว้ หากเจ้าของเดิมกับ GitHub ID เป็นคนเดียวกัน ก็จะมีฟังก์ชันให้ claim เพื่อนำมาเป็นการเผยแพร่ของตนเองได้

สแตก

ใช้ OpenSearch สำหรับการค้นหา, ใช้ Terraform สำหรับจัดการอินฟรา และใช้ FastAPI สำหรับแบ็กเอนด์

---

ขอฝากตัวด้วยนะครับ