Pypipe - เครื่องมือ CLI สำหรับ Python เพื่อประมวลผล data pipeline

• ppp line
  • $ cat staff.txt |ppp 'i, line.upper()'
  • ประมวลผลทีละบรรทัด โดยสามารถอ้างอิงหมายเลขบรรทัดเป็น i และสตริงทั้งบรรทัดเป็น line/l ได้
• ppp rec
  • $ cat staff.txt |ppp rec 'r[:3]'
  • แยกแต่ละบรรทัดด้วย TAB และสามารถรับสตริงที่ถูกแยกแล้วเป็น rec/r ได้
  • หากระบุตัวเลือก -l 길이 จะสามารถอ้างถึงแต่ละฟิลด์เป็น f1, f2, f3 เป็นต้นได้
  • $ tail -n +2 staff.txt |ppp rec -l5 'f"{f1} is {f4} years old"'
  • ใช้ตัวเลือก -H เพื่อให้รับรู้บรรทัด header แรกและข้ามได้
• ppp csv
  • เหมือนกับ rec แต่สามารถกำหนด delimiter ได้ (ค่าเริ่มต้นคือ comma) และใช้ไลบรารี csv
  • $ cat staff.csv |ppp csv -O 'quoting=csv.QUOTE_ALL'
• ppp text
  • จะอ่านอินพุตทั้งหมดเป็นข้อความก้อนเดียว และเข้าถึงได้ผ่าน text
  • $ cat staff.txt | ppp text 'len(text)'
• ppp file
  • รับลิสต์พาธไฟล์ จากนั้นเปิดแต่ละไฟล์ อ่านเข้าไปใน text และประมวลผล แล้วทำซ้ำกับไฟล์ทั้งหมดในลิสต์
  • พาธก็เข้าถึงได้ผ่าน path เช่นกัน
  • $ ls staff.txt staff.csv staff.json staff.xml |ppp file 'path, len(text)'
• ppp custom -N NAME
  • สามารถเพิ่มคำสั่ง custom ได้ง่าย ๆ โดยเขียนเป็น Python
  • นิยามไว้ที่ ~/.config/pypipe/pypipe_custom.py และสามารถเปลี่ยนตำแหน่งไฟล์ได้ผ่านตัวแปรสภาพแวดล้อม
• ใช้งานเป็น code generator ได้ด้วย
  • สามารถสร้างโค้ด Python จากอาร์กิวเมนต์ที่ส่งเข้าไปได้
  • รองรับการรันโค้ดนั้นด้วย exec หรือพิมพ์ออกมาด้วย -p และบันทึกไฟล์ด้วย -o PATH