มีเครื่องมือหรือโปรเจกต์แบบติดตั้งเอง หรือมีอินเทอร์เฟซแบบเว็บ UI ที่สามารถบันทึกทุกการกระทำที่มองเห็นได้ในเชิงระบบเวลาใช้งาน AI ได้ไหม เช่น อินพุตและเอาต์พุต รวมถึงการทำงานของโปรเซสต่าง ๆ (เช่น การค้นหาบนเว็บ การให้สิทธิ์รัน การรันคำสั่ง ฯลฯ)?
ถ้าได้แค่บางส่วนก็ยังดี จะเป็นบริการเชิงพาณิชย์ก็ได้
อย่างกรณี Claude Code เช่น พิมพ์ claude ใน cmd เพื่อรัน Claude แล้วหลังจากนั้นก็มีการล็อกอินพุตและเอาต์พุต รวมถึงงานที่โปรเซสของ Claude ทำระหว่างรันอยู่ (เช่น เครือข่าย การกระทำบนเครื่องโลคัล เป็นต้น)...
7 ความคิดเห็น
ผมสร้างด้วย clickstack ครับ โดยตั้งค่า otel ให้ส่งข้อมูลออกไปแบบนั้น
ไม่ใช่ฟีเจอร์ที่ Litellm proxy และ LangSmith มีให้ใช้งานอยู่แล้วหรือครับ?
Argos หรือ Cursor Mafia เหรอ? มีบริการหนึ่งที่ดำเนินการโดยคนที่ทำ vibe coding ซึ่งเป็นอดีตนักพัฒนาของ Toss ด้วย ตัวมันรองรับการ self-host ได้ และสามารถมอนิเตอร์หลายบัญชีจาก API key หรือแพลนได้ น่าจะมีฟีเจอร์อย่างที่คุณพูดถึง เช่น มีการรันไปกี่เซสชัน ใช้เครื่องมืออะไรบ้าง เป็นต้น
จำไม่ค่อยได้ว่ารองรับแค่ Claude หรือเปล่า แต่ถ้าจะทำแบบคัสตอมเอง ก็น่าจะลองแกะดูได้ครับ
ถ้าเป็นฝั่ง Claude Code ลองใช้ cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) ดูครับ
Claude Code จะบันทึกอินพุต/เอาต์พุตทั้งหมดและการเรียกใช้ tool ต่าง ๆ (เช่น อ่านไฟล์, เขียนไฟล์, รัน bash, เว็บรีเควสต์ ฯลฯ) ลงใน transcript (.jsonl) ของแต่ละเซสชัน และ cc-token-saver จะพาร์สข้อมูลนี้แล้วแสดงเป็นแดชบอร์ด HTML ให้เห็นเป็นภาพว่าแต่ละเซสชันทำอะไรไปบ้าง ใช้โทเคนกับอะไรและเท่าไร คุณจะดูได้แบบรวดเดียวว่า "ในเซสชันนี้ AI ไปแตะไฟล์ไหน รันคำสั่งกี่ครั้ง และมีค่าใช้จ่ายเท่าไร"
โดยเฉพาะสกิล
/continueเป็นฟังก์ชันที่วิเคราะห์ทรานสคริปต์เพื่อกู้คืนเซสชันเดิม ๆ และเพราะฟังก์ชันวิเคราะห์ทรานสคริปต์ตัวนี้ใช้งานแบบเดียวกันได้ คุณจึงสั่งประมาณว่า"วิเคราะห์อินพุต เอาต์พุต และข้อมูลเครือข่ายสำหรับกรณีที่ /continue ~"ได้ด้วยเช่นกัน (LLM จะปรับรูปแบบและนำไปใช้ให้อย่างเหมาะสมเอง)ไม่ได้มีแค่ AI อย่างเดียว ใช้
straceหรือเครื่องมือดีบักหลายๆ แบบก็ได้ครับถ้าจะทำให้ดีระดับใช้งานเป็นบริการ ลองดูเครื่องมือที่อิงกับ eBPF ได้เลยครับ
ลองเอาคำถามนี้ไปใส่ใน Gemini ดู ก็มีออกมาหลายตัวเหมือนกันนะครับ ไม่ทราบว่าได้ลองค้นหาแบบนี้ดูหรือยังครับ?
คุณอาจอยากฟังคำตอบจากสมาชิกในชุมชนมากกว่า Gemini ก็ได้ ผมคิดว่านี่เป็นคำถามที่สมเหตุสมผล