warc-parquet - CLI สำหรับแปลง WARC เป็น Parquet

 (github.com/maxcountryman)
8 คะแนน โดย xguru 2022-06-30 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • แปลงไฟล์ Web ARChive (.warc) เป็นฟอร์แมต Apache Parquet แบบคอลัมน์
  • สามารถโหลด Parquet เข้า DuckDB เพื่อคิวรีได้อย่างสะดวก
  • โอเพนซอร์สที่พัฒนาด้วย Rust

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
xguru 2022-06-30

DuckDB - โอเพนซอร์ส Embedded OLAP DB

ดูคล้ายกับ WarcDB - Web crawl data as SQLite DB ที่เพิ่งโพสต์ไปเมื่อไม่นานนี้นะครับ
แต่ในที่ที่มีอินฟราสตรักเจอร์ที่ใช้ Parquet อยู่แล้ว ก็น่าจะใช้งานได้สะดวกกว่า