Entropy เครื่องมือ CLI สำหรับสแกนไฟล์เพื่อค้นหาบรรทัดที่มีเอนโทรปีสูง

Entropy

Entropy เป็นเครื่องมือ CLI ที่ใช้ สแกนบรรทัดที่มีเอนโทรปีสูงในโค้ดเบส เพื่อช่วยค้นหาข้อมูลลับ

วิธีติดตั้ง

ติดตั้งจากซอร์สด้วย Go (แนะนำ)

• go install github.com/EwenQuim/entropy@latest
• สามารถใช้คำสั่ง entropy ได้
• ตัวเลือกเพิ่มเติม: entropy -h, entropy -top 20 -ext go,py,js, entropy -top 5 -ignore-ext min.js,pdf,png,jpg,jpeg,zip,mp4,gif my-folder my-file1 my-file2
• ติดตั้งแบบบรรทัดเดียว: go run github.com/EwenQuim/entropy@latest

ติดตั้งด้วย Brew

• อยู่ระหว่างดำเนินการ (WIP)

ติดตั้งด้วย Docker

• docker run --rm -v $(pwd):/data ewenquim/entropy /data
• ตัวเลือกเพิ่มเติม: docker run --rm -v $(pwd):/data ewenquim/entropy -h, docker run --rm -v $(pwd):/data ewenquim/entropy -top 20 -ext go,py,js /data, docker run --rm -v $(pwd):/data ewenquim/entropy -top 5 /data/my-folder /data/my-file
• สามารถใช้อิมเมจจาก Docker Hub ได้
• ตัวเลือก -v ใช้สำหรับเมานต์ไดเรกทอรีปัจจุบันเข้าไปในคอนเทนเนอร์
• ต้องเพิ่ม /data ไว้ท้ายคำสั่ง, ไม่เช่นนั้นเครื่องมือจะค้นหาภายในคอนเทนเนอร์แทนที่จะเป็นไฟล์ระบบในเครื่อง

โปรเจ็กต์อื่น

• Fuego: เฟรมเวิร์ก Go สำหรับสร้างเอกสาร OpenAPI จากโค้ดเบส
• Renpy-Graphviz: เครื่องมือสำหรับสร้างกราฟของหน้าจอและเลเบลในเกมเอนจิน Ren'Py

ความเห็นของ GN⁺

• เสริมความปลอดภัย: สามารถช่วยยกระดับความปลอดภัยได้ด้วยการค้นหาข้อมูลลับในโค้ดเบสโดยอัตโนมัติ
• ใช้งานสะดวก: มีวิธีติดตั้งหลายแบบ ทำให้ผู้ใช้ติดตั้งและใช้งานเครื่องมือได้สะดวก
• เครื่องมือที่คล้ายกัน: เครื่องมือที่มีความสามารถใกล้เคียงกัน เช่น git-secrets, truffleHog
• สิ่งที่ควรพิจารณาก่อนนำไปใช้: ควรคำนึงถึงขนาดและความซับซ้อนของโค้ดเบส และบรรทัดที่มีเอนโทรปีสูงไม่ได้หมายความว่าเป็นข้อมูลลับเสมอไป
• ข้อดีและข้อเสียของการเลือกใช้เทคโนโลยี: การนำ Entropy มาใช้ช่วยป้องกันเหตุการณ์ด้านความปลอดภัยได้ แต่ก็อาจเกิดผลบวกลวง (false positive) จึงจำเป็นต้องมีการตรวจสอบเพิ่มเติม

[GN⁺]

ความคิดเห็นบน Hacker News

• การใช้สคริปต์ Perl: เสนอวิธีใช้สคริปต์ Perl เพื่อวัดเอนโทรปีของข้อความ แต่มีปัญหาว่าบรรทัดสั้น ๆ บีบอัดได้ไม่ดี
• รหัสผ่านฐานข้อมูล: แก้ปัญหาโดยตั้งรหัสผ่านฐานข้อมูลทั้งหมดเป็น 'abcd'
• ข้อสงสัยเกี่ยวกับการใช้เอนโทรปี: กำลังมองหาบทความดี ๆ เกี่ยวกับวิธีใช้เอนโทรปีในการวิเคราะห์ข้อความ และสงสัยทั้งนิยามและประสิทธิผลของเอนโทรปี
• ปัญหาเรื่องนิยามของเอนโทรปี: การนิยามเอนโทรปีของข้อความมีความคลุมเครือ จึงต้องการวิธีที่ดีกว่าในการเปรียบเทียบเอนโทรปีของภาษาธรรมชาติกับสตริงแบบสุ่ม
• โปรเจกต์ที่เกี่ยวข้อง: แนะนำโปรเจกต์ที่เกี่ยวข้อง เช่น TruffleHog, detect-secrets และ Semgrep Secrets
• การแสดงความขอบคุณ: ขอบคุณ DrJones ที่เคยตั้งคำถามเกี่ยวกับเอนโทรปีเมื่อหลายปีก่อน และลิงก์บทความที่เกี่ยวข้องซึ่งดีมาก
• ชื่นชมเครื่องมือ CLI: ชมว่าเป็นเครื่องมือ CLI ที่มีประโยชน์ และโค้ด Go ก็ยอดเยี่ยม
• โปรแกรม 'ent': ทำให้นึกถึงโปรแกรม 'ent' ที่ใช้มานาน
• การใช้โมเดลภาษา: เสนอว่าโมเดลภาษาอย่าง Llama 3 ซึ่งจำลองความน่าประหลาดใจรายโทเค็น อาจใช้ตรวจจับบริเวณที่มีเอนโทรปีสูงได้
• ข้อเสนอเพื่อปรับปรุงเครื่องมือ CLI: เสนอว่าน่าจะเพิ่มแฟล็กสำหรับอ่านไฟล์ .gitignore อัตโนมัติเพื่อตัดเนื้อหาออก และเพิ่มกลยุทธ์การตรวจจับความลับที่หลากหลาย
• วิธีเปรียบเทียบด้วยการบีบอัด: เสนอวิธีบีบอัดไฟล์แล้วเปรียบเทียบขนาดหลังบีบอัดกับขนาดต้นฉบับ โดยไฟล์ที่เข้ารหัสจะบีบอัดได้แย่กว่าโค้ด