Show HN: Autotab - ส่วนขยาย Chrome ที่ขับเคลื่อนด้วย AI สำหรับสร้างสคริปต์ Selenium

 (autotab.com)
3 คะแนน โดย GN⁺ 2023-10-21 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Autotab เป็น ส่วนขยาย Chrome ที่ขับเคลื่อนด้วย AI ซึ่งทำงานบนเบราว์เซอร์ในเครื่อง และตั้งเป้าไปถึงการสร้างสคริปต์ Selenium
  • ผู้ใช้สามารถถ่ายทอดเวิร์กโฟลว์ผ่าน ข้อความวิดีโอ หรือเอกสาร เพื่อสอนงานให้ Autotab ได้เหมือนอธิบายให้คนฟัง
  • ปัจจุบันถูกใช้ในบริษัท Fortune 500 และบริษัทสายเทคโนโลยีที่เติบโตอย่างรวดเร็ว เพื่อลดคอขวดด้านการสรรหา การออนบอร์ด และงานบริหารจัดการ
  • ขอบเขตการใช้งานครอบคลุมงานซ้ำ ๆ บนเบราว์เซอร์อย่างกว้างขวาง เช่น การรวบรวมข้อมูล, การกรอกฟอร์ม, การส่งข้อความ และการทริกเกอร์การคืนเงิน
  • หากไม่แน่ใจว่างานนั้นสามารถประมวลผลได้หรือไม่ สามารถส่งบันทึกการทำงานไปเพื่อรับคำตอบภายใน 24 ชั่วโมงได้ และบริษัทที่กำลังพิจารณาทางเลือกแทน BPO สามารถติดต่อสอบถามแยกต่างหากได้

วิธีเรียนรู้และทำงานบนเบราว์เซอร์ในเครื่อง

  • Autotab เป็น AI agent แบบใช้งานทั่วไป ที่เรียนรู้และทำงานที่ผู้ใช้มอบหมายในลักษณะใกล้เคียงกับการทำงานของมนุษย์
  • งานจะดำเนินการบน เบราว์เซอร์ในเครื่อง ของผู้ใช้ และผู้ใช้สามารถเห็นกระบวนการที่ Autotab กำลังทำได้
  • สามารถถ่ายทอดเวิร์กโฟลว์เฉพาะให้ได้เหมือนการส่งมอบงานให้คน

    • การสอนงานด้วยข้อความวิดีโอและเอกสาร

      • สามารถบอกขั้นตอนการทำงานผ่านข้อความวิดีโอหรือเอกสารที่เตรียมไว้ได้
      • แม้แต่เวิร์กโฟลว์ที่ซับซ้อนก็ถูกออกแบบให้ถ่ายทอดได้ตามวิธีที่คนใช้อธิบายงาน

งานซ้ำ ๆ ที่เจาะกลุ่มองค์กร

  • Autotab ถูกนำไปใช้งานในบริษัท Fortune 500 และบริษัทสายเทคโนโลยีที่ต้องการขยายตัวอย่างรวดเร็ว
  • ใช้กรณีหลักคือสถานการณ์ที่งานสรรหา ออนบอร์ด และบริหารจัดการตามไม่ทันความเร็วในการเติบโต
  • ตัวอย่างงานที่ทำได้มีดังนี้
    • การรวบรวมข้อมูล: หา lead, รวบรวมข้อมูลสำหรับรายงาน, โยกย้ายระบบทั้งหมด
    • การกรอกฟอร์ม: กรอกข้อมูลลงในแบบฟอร์มรัฐบาล, แอปผู้ดูแลภายใน, ระบบของผู้ให้บริการอย่าง ERP·RMS·TMS
    • การดำเนินการ: ส่งข้อความบนแพลตฟอร์มใด ๆ, ทริกเกอร์การคืนเงิน และดำเนินมาตรการที่เหมาะสมตามบริบท

การติดต่อและตรวจสอบความเป็นไปได้ในการใช้งาน

  • หากไม่แน่ใจว่าเป็นงานที่สามารถประมวลผลได้หรือไม่ สามารถส่งบันทึกการทำงานไปที่ record@autotab.com แล้วจะได้รับคำตอบภายใน 24 ชั่วโมง
  • บริษัทที่ต้องการแทนที่ BPO ด้วยวิธีอื่น สามารถติดต่อได้ที่ enterprise@autotab.com

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-10-21
ความคิดเห็นจาก Hacker News

  • ในฐานะคนที่สร้างโปรเจกต์ Selenium ผมคิดว่า การทำเทสต์อัตโนมัติ จะเป็นหนึ่งใน killer app ของ AI
    สงสัยว่าพวกคุณรับประกันอย่างไรว่า AI จะไม่หลอนรายละเอียดในโค้ดที่สร้างออกมา

    • ตอนนี้ในฐานะกลไกป้องกันพื้นฐาน เราตรวจสอบว่า XPath ของ Selenium เลือกได้เพียงองค์ประกอบเดียวใน DOM พอดี
      ในอนาคต สิ่งที่น่าจะดีที่สุดคือให้มี พรีวิวแบบเรียลไทม์ ที่เบราว์เซอร์ที่ mirror ไว้ทำตามการกระทำล่าสุดเหมือนกันเป๊ะ เพื่อให้ดีบักได้ทันทีเมื่อเกิดข้อผิดพลาดหรือไม่ตรงกับเจตนา

  • ผมกำลังลองทำให้เว็บแอป agent system ของผมถูกอัตโนมัติอย่างมีความหมาย รู้สึกเหมือน automation กำลังจัดการ automation แบบ recursive
    ขอโปรโมตนิดหนึ่ง https://github.com/agi-merge/waggle-dance
    ปกติผมไม่ได้ใช้ Chrome แต่เข้าใจว่าทำไมถึงเริ่มจาก Chrome ก่อน อย่างไรก็อยากให้มีเวอร์ชัน Firefox หรือ Safari ด้วย

    • ผมดู waggledance.ai แล้ว สิ่งที่ทำได้นั้นเจ๋งและน่าสนใจ
      แต่ถ้าไม่นับ UI ที่ทำมาดี ผมสงสัยว่า waggledance ทำอะไรให้ได้บ้างที่คำตอบจาก GPT-4 ให้ไม่ได้
      จากที่ผมเคยลองมา วิธีสร้างและแตกงานย่อยให้ความรู้สึกค่อนข้างคล้ายกับผลลัพธ์ที่ได้เมื่อถาม ChatGPT
    • การรองรับเบราว์เซอร์อื่น ๆ ก็อยู่ในแผนระยะหนึ่งแน่นอน

  • ผมเคยเขียนสคริปต์ Selenium เองเพื่อทำงานของพ่อให้เป็นอัตโนมัติ เช่น เอาชื่อจากสเปรดชีตไปใส่ในช่องค้นหาของเว็บไซต์ แล้วทำแบบเดิมซ้ำกับคนหลายร้อยคน ซึ่งช่วยประหยัดเวลาได้มาก
    ถ้าสามารถทำให้ browser automation ง่ายขึ้นได้เพียงแค่สาธิตให้เครื่องดู ผมคิดว่าชีวิตของคนจำนวนมากจะสะดวกขึ้นมาก เลยอยากรีบลองใช้

    • การช่วยงานแบบนี้ตรงกับทิศทางที่เราคาดหวังไว้มาก อยากฟังความรู้สึกหลังจากลองใช้ และถ้าสะดวกคุยกัน อีเมลอยู่ในโปรไฟล์ครับ

  • ผมอยากเอาสิ่งนี้ขึ้นเซิร์ฟเวอร์แล้วให้บริการผ่าน BrowserBox เพื่อให้สร้าง automation ได้แม้บนมือถือ
    เดิมทีเหตุผลที่สร้าง BrowserBox ก็เพื่อเป็นแพลตฟอร์มส่งมอบ เครื่องมือเขียนเว็บสแครปปิง ที่ไม่ถูกผูกกับ extension แต่พอทำ remote browser เองให้กลายเป็นผลิตภัณฑ์ ก็เลยยังไปไม่ถึงเครื่องมือเขียน automation
    ขอบคุณที่ทำสิ่งนี้และเปิดเป็น MIT ผมมองว่าวิธีเขียนเว็บสแครปปิงแบบมีมนุษย์นำทางและเสริมด้วย AI คืออนาคตของสายนี้
    ชื่อก็ดี autotab
    มี “synergy” นิด ๆ ด้วย เพราะ BrowserBox SaaS ที่ผมกำลังจะเปิดตัวชื่อว่า Cloudtabs
    https://github.com/BrowserBox/BrowserBox

    • BrowserBox ดูเจ๋ง แต่จาก README อย่างเดียวดูยากว่าใช้ browser engine อะไร สงสัยว่าทำเองหรือเปล่า

  • ที่ https://ray.run/ เรากำลังทำของเกือบเหมือนกันสำหรับ Playwright อยู่ ผมไม่สงสัยเลยว่าอนาคตของการเขียนเทสต์จะไปทางนี้ และมีกำหนดเปิดตัวสัปดาห์หน้า
    แนวทางดูต่างกันเล็กน้อย เราใช้ LLM เฉพาะกับการระบุองค์ประกอบ ส่วนตัว generator จริง ๆ ทำด้วย https://ray.run/browser-extension

    • เมื่อผู้เข้าชมตั้งค่า prefers-reduced-motion ควรปิดพื้นหลังที่เป็นแอนิเมชัน
      หรือจะปิดโดยรวมไปเลยก็ได้ มันค่อนข้างรบกวนสายตา

  • สงสัยว่าต่างจากฟีเจอร์ Recorder ของ Chrome อย่างไร
    ใน DevTools > Recorder สามารถบันทึก user journey แล้วส่งออกเป็นสคริปต์ Puppeteer ได้

    • ความต่างหลักน่าจะเป็น autotab ส่งออกเป็น สคริปต์ Python ทำให้รวมเข้ากับ codebase Python ที่มีอยู่ได้ง่ายกว่า
      ต่อไปผมคิดว่าด้วยความยืดหยุ่นของโค้ดและ ecosystem ของ Python จะทำให้สร้างฟีเจอร์ได้มากขึ้นง่ายกว่า เช่น งานที่อิงกับเบราว์เซอร์ไม่ได้ deterministic โดยสมบูรณ์ และระหว่าง automation มักต้องใช้ intelligence มากขึ้น เช่น สรุปข้อมูลจากเว็บเพจ หรือเติมคำตอบที่เหมาะสมลงใน text box แบบไดนามิก

  • พอเห็นว่าได้ทุนจาก YC เลยรู้ว่าเป็นผู้ก่อตั้ง https://www.ztool.co สงสัยว่า pivot หรือว่าเป็นผลิตภัณฑ์ที่เสริม ztool กันแน่

    • อันนี้ใกล้เคียงกับการ pivot ชัดเจน แต่ตัวผลิตภัณฑ์ ZTool เองก็ผ่านการเปลี่ยนแปลงใหญ่ ๆ มาหลายครั้งแล้ว
      สิ่งที่เราได้เรียนรู้จากการสร้างและคุยกับผู้ใช้ตลอดหลายเดือนที่ผ่านมา สรุปได้เป็นสองเหตุผลที่ทำให้มาทำ autotab
      อย่างแรก ซอฟต์แวร์ที่ AI สร้างยังไม่พร้อมสำหรับผู้ใช้ที่ไม่ใช่สายเทคนิค ใน ZTool เราโฟกัสกับการทำให้คนที่เขียนโค้ดไม่เป็นสร้าง automation ได้ง่าย แต่ตอนนี้เราคิดว่าให้ output ของโมเดลเป็นโค้ดจะดีกว่า ดังนั้น autotab จึงโฟกัสผู้ใช้ที่ตรวจทานและแก้ไขโค้ด Python ได้
      อย่างที่สอง วิธีถ่ายทอดเจตนาสำคัญมาก การเปลี่ยนจาก “งานนี้น่ารำคาญ” ไปเป็นการแสดงออกที่มีโครงสร้างต้องใช้แรงคิดมากกว่าที่คิด เดโม AI เน้นการถ่ายทอดเจตนาด้วยพรอมป์สั้น ๆ แต่ในโดเมนที่ซับซ้อนมักทำงานได้ไม่ดี วิธีถ่ายทอดเจตนาผ่านเบราว์เซอร์นั้นเป็นธรรมชาติและคุ้นเคยมาก จึงดูทรงพลัง

  • มีข้อความว่า “รันเซสชัน Chrome ที่ Selenium ควบคุม แล้วล็อกอินเข้า Google” สงสัยว่าทำไม Google login ถึงเป็น requirement

    • ตอนนี้เราแก้ส่วนนี้แล้ว สามารถรับ API key ได้ที่ autotab.com/dashboard และใช้แค่คีย์นั้นเพื่อ authenticate ตอนรัน autotab record ได้ ไม่ต้องล็อกอิน Google ในเบราว์เซอร์ Selenium อีกต่อไป
    • ตอนนี้การล็อกอินเข้า autotab เองยังอนุญาตเฉพาะ Google login แต่เร็ว ๆ นี้จะเพิ่มการล็อกอินด้วยชื่อผู้ใช้/รหัสผ่านและตัวเลือกอื่น ๆ
      ตาม feedback เราอาจทำตัวเลือกให้ผู้ใช้นำ OpenAI API key ของตัวเองมาใช้ได้ด้วย

  • สงสัยว่าสามารถบันทึก workflow หรือ macro ที่ใช้เหมือน shortcut ในหน้าต่างเบราว์เซอร์ที่เปิดอยู่ได้ไหม หรือจำกัดแค่กระบวนการ automation ที่เปิดหน้าต่างเบราว์เซอร์แล้วรันการกระทำบางอย่างเท่านั้น
    ตัวอย่างเช่น ถ้าเปิดหลายแท็บและแต่ละแท็บมีองค์ประกอบเดียวกันอย่างปุ่มเต็มจอของ YouTube ผมอยากรู้ว่าสามารถใช้ Autotab บันทึกสิ่งอย่าง “ออกจากเต็มจอ, ไปแท็บถัดไป, เปิดวิดีโอในหน้านั้นให้เต็มจอ” ได้ไหม

    • ถ้าเปิดวิดีโอ YouTube อยู่เสมอภายใน browser instance ที่สคริปต์ autotab เปิดขึ้นมา ก็พอเป็นไปได้ในระดับหนึ่ง แต่คำตอบสั้น ๆ คือ ตอนนี้น่าจะยาก
      macro แบบนี้น่าสนใจมาก และเราได้คุยกันเยอะว่าเบราว์เซอร์ควรถูกออกแบบอย่างไรเพื่อ AI และ automation แบบนี้
    • อยากรู้ว่าคุณอยากนิยาม macro แบบไหนบ้าง เป็นพื้นที่ที่เราอยากเรียนรู้เพิ่มเติม

  • ถ้าจะทำให้สิ่งนี้มีประโยชน์สูงสุด LLM ที่มีชุดกฎควรตีความและลงมือกับ สถานการณ์แบบไดนามิก บนหน้าเว็บได้
    เช่น ตอนพยายามเพิ่มของลงตะกร้า ถ้า LLM ตรวจพบกฎว่าสินค้าหมด ก็ให้ทำอย่างอื่นแทน
    สงสัยว่าในอนาคต software นี้จะทำ branching logic แบบอิงกฎและเสริมด้วย LLM ได้ไหม

    • เห็นด้วยมาก และตอนนี้กำลังทำอย่างจริงจัง
      คำถามที่น่าสนใจมีสองข้อ: 1) รูปแบบใดมีประสิทธิภาพที่สุดสำหรับผู้ใช้ในการถ่ายทอดเจตนา ซึ่งอาจไม่ใช่การ point-and-click ก็ได้ 2) ประเด็นสำคัญคือจะทำอย่างไรให้ output ของโมเดลถูกแสดงออกมาในรูปแบบที่ audit ได้และแก้ไขได้