การ query CloudWatch Logs ด้วย Athena

• จุดที่น่าเสียดายของ CloudWatch Logs

  • แม้จะใช้ Logs Insights ก็ยังมีบางส่วนที่แก้ได้ยาก

• ลอง query CloudWatch Logs ด้วย Athena Federated Query

  • query ใช้เวลานานเกินไป และ

  • แก้ปัญหาได้ยากเพราะ error log และเอกสารที่ไม่เป็นมิตร

• สุดท้ายจึงใช้วิธีคลาสสิกคือ unload ไปยัง S3 ด้วย Firehose แล้วค่อย query ด้วย Athena

  • สิ่งที่พิจารณาในวิธีนี้

    • Firehose dynamic partitioning

    • Athena partition projection

    • Firehose buffer size & interval

  • ข้อควรระวัง

    • ข้อจำกัดจำนวน CloudWatch Logs subscription filter

    • รูปแบบ log

    • ค่าใช้จ่าย

• IaC

  • ทำ terraforming สำหรับ Athena table DDL

[toughrogrammer]

ผมเขียน bullet list แบบหลายระดับ แต่ฟอร์แมตเพี้ยนครับ... ลองทั้งเว้นวรรคและ tab แล้วก็ยังเหมือนเดิม เลยปล่อยไว้แบบนี้ก่อน ต้องขอความกรุณาให้เข้าใจด้วยครับ

[xguru]

อ๋อ ตอนนี้ยังทำแบบนั้นไม่ได้ครับ เดี๋ยวภายหน้าจะรองรับ Markdown รอสักหน่อยนะครับ~

[toughrogrammer]

โอ้ น่าตื่นเต้นมากเลย! ขอบคุณเสมอที่ให้บริการดี ๆ และฉันก็ใช้งานอยู่เสมอ

[toughrogrammer]

หลังจากเพิ่มความคิดเห็นแล้ว ฉันตั้งใจจะลองอีกครั้ง แต่ดูเหมือนว่าจะลบบทความไม่ได้ ถ้ามีความคิดเห็นอยู่ก็คงลบบทความไม่ได้สินะ