xsv - เครื่องมือจัดการไฟล์ CSV สำหรับ CLI
(github.com)เครื่องมือ CLI ที่ทำให้ใช้ไฟล์ CSV ได้เหมือนเป็น DB โอเพนซอร์สที่เขียนด้วย Rust
รองรับการรวมไฟล์, นับจำนวนบรรทัด, ทำความกว้างคงที่, รีฟอร์แมต (เช่น เปลี่ยน delimiter) ,
join (inner, outer, cross), การแบ่งพาร์ทิชันตามค่าคอลัมน์, การสุ่มตัวอย่าง, การเรียงย้อนกลับ, การดึงคอลัมน์ที่ต้องการ, การจัดเรียงคอลัมน์ใหม่,
sort, การแยกไฟล์ (เป็น N ไฟล์), stats (ค่าเฉลี่ย, ความแปรปรวน, มัธยฐาน, ช่วงค่า ฯลฯ ของแต่ละคอลัมน์), การดูในรูปแบบตาราง
2 ความคิดเห็น
spark บน local?!
น่าจะเหมาะสำหรับใช้ตอนทำความสะอาดข้อมูล CSV ในงานวิเคราะห์ข้อมูล
ตัวอย่างการทำ join ในรูปแบบ SQL - https://www.johndcook.com/blog/2019/12/31/sql-join-csv-files/