มีเครื่องมือหรือโปรเจกต์แบบติดตั้งเอง หรือมีอินเทอร์เฟซแบบเว็บ UI ที่สามารถบันทึกทุกการกระทำที่มองเห็นได้ในเชิงระบบเวลาใช้งาน AI ได้ไหม เช่น อินพุตและเอาต์พุต รวมถึงการทำงานของโปรเซสต่าง ๆ (เช่น การค้นหาบนเว็บ การให้สิทธิ์รัน การรันคำสั่ง ฯลฯ)?
ถ้าได้แค่บางส่วนก็ยังดี จะเป็นบริการเชิงพาณิชย์ก็ได้
อย่างกรณี Claude Code เช่น พิมพ์ claude ใน cmd เพื่อรัน Claude แล้วหลังจากนั้นก็มีการล็อกอินพุตและเอาต์พุต รวมถึงงานที่โปรเซสของ Claude ทำระหว่างรันอยู่ (เช่น เครือข่าย การกระทำบนเครื่องโลคัล เป็นต้น)...
10 ความคิดเห็น
ไม่แน่ใจว่านี่จะตรงกับสิ่งที่คุณต้องการหรือเปล่า แต่ในเรื่องการติดตามโมเดลมีโอเพนซอร์สชื่อ https://langfuse.com/ อยู่ครับ
ไม่แน่ใจว่าผมสามารถทิ้งสิ่งที่ผมสร้างไว้ในคอมเมนต์ได้หรือไม่ แต่คิดว่าน่าจะช่วยได้หากคุณกำลังมองหาเครื่องมือแบบนี้อยู่ จึงขอคอมเมนต์ไว้ครับ (หากเป็นสิ่งที่ห้าม ต้องขออภัยด้วย)
แม้จะไม่ใช่ทุกการกระทำของ AI แต่ผมกำลังสร้างบริการที่บันทึกล็อกว่าอ้างอิงอะไรบ้างและได้คำตอบนั้นมาอย่างไร เดิมที pivot มาจาก semantic hub แบบเรียบง่ายครับ โดยใช้ Merkle tree เป็นฐานในการบันทึกแฮชลงบน external ledger และใช้ witness ผ่าน rekor เพื่อป้องกันการปลอมแปลงหรือแก้ไขข้อมูล
หากเป็นโมเดลที่ไม่ใช่ LLM และมีจำนวนพารามิเตอร์ไม่มาก ก็สามารถใช้ zkml เพื่อตรวจสอบความสอดคล้องของผลลัพธ์คำตอบตามอินพุตได้ด้วย
หากคุณนำ demo audit log ด้านล่างไปใส่ในตัวตรวจสอบการพิสูจน์ล็อกที่อยู่ด้านล่างสุดของหน้าหลัก ก็จะดูได้ว่าสามารถตรวจสอบอะไรได้บ้าง
หน้าเว็บ : https://hub.rawctx.dev/
demo audit log : https://github.com/pasar6987-create/rawctx-demo-audit-log/…
ลองเอาคำถามนี้ไปใส่ใน Gemini ดู ก็มีออกมาหลายตัวเหมือนกันนะครับ ไม่ทราบว่าได้ลองค้นหาแบบนี้ดูหรือยังครับ?
อาจจะล้ำเส้นไปหน่อย แต่ผมคิดว่าคอมเมนต์แบบนี้ส่งผลลบต่อบรรยากาศของชุมชนครับ
ถ้ามีอะไรสงสัย ก็จะดีกว่าถ้าถามกันได้อย่างอิสระ
การพูดทำนองว่าให้คุณไปหาดูเอง
ยิ่งโดยเฉพาะช่วงนี้ก็มีหลายคนที่เหนื่อยกับ AI slop อยู่แล้ว การบอกให้พึ่งพาคำตอบจาก LLM ก็ยิ่งไม่เหมาะเข้าไปใหญ่..
คุณอาจอยากฟังคำตอบจากสมาชิกในชุมชนมากกว่า Gemini ก็ได้ ผมคิดว่านี่เป็นคำถามที่สมเหตุสมผล
ผมสร้างด้วย clickstack ครับ โดยตั้งค่า otel ให้ส่งข้อมูลออกไปแบบนั้น
ไม่ใช่ฟีเจอร์ที่ Litellm proxy และ LangSmith มีให้ใช้งานอยู่แล้วหรือครับ?
Argos หรือ Cursor Mafia เหรอ? มีบริการหนึ่งที่ดำเนินการโดยคนที่ทำ vibe coding ซึ่งเป็นอดีตนักพัฒนาของ Toss ด้วย ตัวมันรองรับการ self-host ได้ และสามารถมอนิเตอร์หลายบัญชีจาก API key หรือแพลนได้ น่าจะมีฟีเจอร์อย่างที่คุณพูดถึง เช่น มีการรันไปกี่เซสชัน ใช้เครื่องมืออะไรบ้าง เป็นต้น
จำไม่ค่อยได้ว่ารองรับแค่ Claude หรือเปล่า แต่ถ้าจะทำแบบคัสตอมเอง ก็น่าจะลองแกะดูได้ครับ
ถ้าเป็นฝั่ง Claude Code ลองใช้ cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) ดูครับ
Claude Code จะบันทึกอินพุต/เอาต์พุตทั้งหมดและการเรียกใช้ tool ต่าง ๆ (เช่น อ่านไฟล์, เขียนไฟล์, รัน bash, เว็บรีเควสต์ ฯลฯ) ลงใน transcript (.jsonl) ของแต่ละเซสชัน และ cc-token-saver จะพาร์สข้อมูลนี้แล้วแสดงเป็นแดชบอร์ด HTML ให้เห็นเป็นภาพว่าแต่ละเซสชันทำอะไรไปบ้าง ใช้โทเคนกับอะไรและเท่าไร คุณจะดูได้แบบรวดเดียวว่า "ในเซสชันนี้ AI ไปแตะไฟล์ไหน รันคำสั่งกี่ครั้ง และมีค่าใช้จ่ายเท่าไร"
โดยเฉพาะสกิล
/continueเป็นฟังก์ชันที่วิเคราะห์ทรานสคริปต์เพื่อกู้คืนเซสชันเดิม ๆ และเพราะฟังก์ชันวิเคราะห์ทรานสคริปต์ตัวนี้ใช้งานแบบเดียวกันได้ คุณจึงสั่งประมาณว่า"วิเคราะห์อินพุต เอาต์พุต และข้อมูลเครือข่ายสำหรับกรณีที่ /continue ~"ได้ด้วยเช่นกัน (LLM จะปรับรูปแบบและนำไปใช้ให้อย่างเหมาะสมเอง)ไม่ได้มีแค่ AI อย่างเดียว ใช้
straceหรือเครื่องมือดีบักหลายๆ แบบก็ได้ครับถ้าจะทำให้ดีระดับใช้งานเป็นบริการ ลองดูเครื่องมือที่อิงกับ eBPF ได้เลยครับ