Magnitude - เฟรมเวิร์กทดสอบ AI-Native แบบโอเพนซอร์สสำหรับเว็บแอป

• เฟรมเวิร์กทดสอบ E2E แบบโอเพนซอร์สที่ขับเคลื่อนด้วย AI สำหรับเว็บแอป
• เขียนเทสต์เคสได้ง่ายด้วยภาษาธรรมชาติ และให้ AI agent ด้านการให้เหตุผล วางแผนการทดสอบ ขณะที่ AI agent ด้านภาพ จะรับรู้และปรับตัวตามการเปลี่ยนแปลงของ UI เพื่อรันการทดสอบ
• ผสาน multimodal LLM กับ vision model เพื่อทำ UI testing ที่รวดเร็วและแม่นยำ พร้อมบันทึกแผนไว้เพื่อให้รันซ้ำได้ในรูปแบบเดิมเสมอ
• เมื่อเกิดปัญหา agent ด้านการให้เหตุผล จะช่วยแก้ไขปัญหาให้อัตโนมัติ
• รองรับ การผสานรวม CI/CD และการรันเทสต์ในลักษณะคล้าย Playwright สามารถรันในสภาพแวดล้อม CI (เช่น GitHub Actions) ได้
• ทำไมไม่ใช้ OpenAI Operator หรือ Claude Computer Use?
  • Magnitude ออกแบบโดยแยก การวางแผน ออกจาก การรัน
  • เมื่อเทียบกับ API สำหรับงานเดสก์ท็อป/เว็บทั่วไปแล้ว ถูกปรับให้เหมาะกับการรันเทสต์มากกว่าในด้าน ความเร็ว ความน่าเชื่อถือ และต้นทุน
  • มี runner ของตัวเอง แยกต่างหาก เพื่อเพิ่ม ความน่าเชื่อถือ ความเร็ว และความคุ้มค่าด้านต้นทุน ให้สูงสุด
• คำแนะนำ LLM
  • โมเดล planner: ใช้ multimodal LLM ทั่วไป (แนะนำ: Gemini 2.5 Pro)
  • โมเดล executor: ใช้ Moondream ซึ่งเป็น vision LLM ที่รวดเร็ว
• ตัวอย่าง 1

  test('can add and complete todos', { url: 'https://magnitodo.com' })  
      .step('create 3 todos')  
          .data('Take out the trash, Buy groceries, Build more test cases with Magnitude')  
          .check('should see all 3 todos')  
      .step('mark each todo complete')  
          .check('says 0 items left')  
  

• ตัวอย่าง 2

  test('can log in and create company')  
      .step('Log in to the app')  
          .data({ username: '[e-mail]', password: 'test' })  
          .check('Can see dashboard')  
      .step('Create a new company')  
          .data('Make up the first 2 values and use defaults for the rest')  
          .check('Company added successfully');