Launch HN: HumanLayer (YC F24) – API สำหรับให้มนุษย์มีส่วนร่วมในระบบ AI

 (news.ycombinator.com)
1 คะแนน โดย GN⁺ 2024-11-27 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เป็น API ที่ช่วยให้เอเจนต์ AI ในโปรดักชันขอ การอนุมัติ·อินพุตจากมนุษย์ ก่อนดำเนินงานที่มีความเสี่ยง ลดภาระจากการปล่อยให้ทำงานอัตโนมัติเต็มรูปแบบ
  • แก่นหลักคือการส่งคำขออนุมัติผ่าน Slack·อีเมล จัดการสถานะระหว่างรอคำตอบและ audit trail เพื่อใส่มนุษย์เข้าไปในโฟลว์การทำงานของเอเจนต์
  • ผลิตภัณฑ์เริ่มต้นจากประสบการณ์ที่ลูกค้ารู้สึกไม่สบายใจเมื่อเอเจนต์อัตโนมัติสำหรับทีมข้อมูลเข้าถึงระบบโปรดักชันโดยตรง
  • SDK ทำงานที่ ชั้น tool calling จึงใช้ได้กับเฟรมเวิร์กอย่าง CrewAI, LangChain และโมเดลภาษาที่รองรับ tool calling
  • ยิ่งเป็นเอเจนต์ที่ลงมือทำงานจริง เช่น AI SDR, จดหมายข่าว AI, เอเจนต์ DevOps ก็ยิ่งสำคัญที่ต้องกำหนดจุดขออนุมัติและช่องทางขอความช่วยเหลือให้ชัดเจน

โฟลว์การอนุมัติจากมนุษย์ที่จำเป็นสำหรับเอเจนต์ในโปรดักชัน

  • HumanLayer เป็น API ที่ช่วยให้เอเจนต์ AI ขอ ฟีดแบ็ก·อินพุต·การอนุมัติ จากมนุษย์ระหว่างการทำงานได้
  • เป้าหมายคือทำให้สามารถใส่ human-in-the-loop ในทุกขั้นตอนที่มีความเสี่ยง เมื่อ deploy ระบบ AI ที่เป็นอัตโนมัติหรือทำงานแบบ headless สู่โปรดักชัน
  • จุดเริ่มต้นมาจากประสบการณ์ในการสร้างเอเจนต์ AI สำหรับทีมข้อมูล
    • ต้องการทำให้งานน่าเบื่ออย่างการลบตารางที่ไม่ได้ใช้งานเป็นอัตโนมัติ
    • ลูกค้าคัดค้านการที่เอเจนต์ AI เข้าถึงระบบโปรดักชันโดยตรง
  • เพื่อสร้างความน่าเชื่อถือระดับโปรดักชัน จำเป็นต้องมีการประเมินผล, fine-tuning และ prompt engineering ให้เหมาะกับระดับความเสี่ยงของงาน แต่การไปให้ถึงความน่าเชื่อถือ 99.9% ขึ้นไปอาจใช้เวลามากกว่า 3 เดือน
  • สุดท้ายจึงสร้างโฟลว์การอนุมัติอย่าง “ถามใน Slack ก่อนลบตาราง” และต่อมายังต้องมีกลไก guardrail เพื่อไม่ให้คำขออนุมัติถูกส่งไปหาคนผิด

ฟีเจอร์และวิธีผสานการทำงาน

  • เมื่อติดตั้ง HumanLayer SDK แล้ว เอเจนต์ AI สามารถขอ การอนุมัติจากมนุษย์ ได้ทุกจุดระหว่างการทำงาน
    • route คำขอไปยังคนที่เหมาะสมผ่าน Slack หรืออีเมล
    • SMS และ Teams จะรองรับในเร็ว ๆ นี้
    • จัดการสถานะระหว่างรอคำตอบ
    • ให้ audit trail ครบถ้วน
  • นอกจาก “คำขออนุมัติ” แล้วยังรองรับฟีเจอร์ทั่วไปกว่าอย่าง human as tool
    • สามารถเปิดให้ LLM หรือเฟรมเวิร์กเอเจนต์มองเป็นเครื่องมือสำหรับรวบรวมคำตอบจากมนุษย์ได้
    • ตัวอย่างคือคำถามทั่วไปในลักษณะ “ติดอยู่กับปัญหานี้ และได้ลองสิ่งเหล่านี้แล้ว ช่วยแนะนำหน่อย”
  • เนื่องจากทำงานที่ชั้น tool calling จึงใช้ได้กับเฟรมเวิร์กอย่าง CrewAI, LangChain และโมเดลภาษาที่รองรับ tool calling
    • หากกำลังสร้างลูปเอเจนต์·เครื่องมือของตัวเอง สามารถใช้ SDK primitive ระดับล่างกว่าเพื่อจัดการโฟลว์การอนุมัติได้โดยตรง
    • กำลังสำรวจการใช้งานสำหรับการอนุมัติแบบคนต่อคน นอกเหนือจากการอนุมัติระหว่าง AI กับคนด้วย

กรณีใช้งานและรูปแบบการให้บริการ

  • เอเจนต์ในโปรดักชันหลายตัวใช้โฟลว์การอนุมัติของ HumanLayer
    • ลูกค้ารายหนึ่งสร้าง AI SDR ที่เขียนอีเมลขายแบบปรับให้เข้ากับแต่ละคน แต่ต้องให้มนุษย์อนุมัติใน Slack ก่อนส่ง
    • ลูกค้าอีกรายใช้กับจดหมายข่าว AI ที่ผู้สมัครรับข่าวสารสามารถสนทนากับคอนเทนต์และอีเมลได้
    • ทีมหนึ่งนำไปใช้กับเอเจนต์ DevOps สำหรับลูกค้า เพื่อจัดการการรีวิว PR, การวางแผนและดำเนินการ DB migration, การอนุมัติจากมนุษย์ในขั้นตอนสำคัญ และการขอความช่วยเหลือจากทีมเมื่อเกิดปัญหา
  • รูปแบบการให้บริการคือ Python และ TypeScript SDK, ทดลองใช้ฟรี, free tier และราคาตามการใช้งาน
    • สำหรับทีมที่สร้างเอเจนต์สำหรับลูกค้า มี whitelabeling, ฟีเจอร์เพิ่มเติม และ support แบบ priority
    • เอกสารดูได้ที่ humanlayer.dev/docs

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-11-27
ความเห็นจาก Hacker News

  • มีความเห็นว่าเจ้าของสตาร์ทอัพต้องการใช้ AI เพื่อสร้างบริการภายในแบบ DIY เอง แม้จะคิดว่าการใช้ SaaS น่าจะดีกว่า แต่ก็มีราคาแพงและไม่ได้ซับซ้อนนัก จึงมองว่าหากมีการแข่งขัน ราคาก็น่าจะลดลง

  • มีความกังวลเกี่ยวกับต้นทุนที่สูงของบริการ AI และมีความเห็นว่าจำเป็นต้องมีการให้เครดิตฟรีหรือปรับราคา

  • มีความกังวลเกี่ยวกับ automation bias และ automation complacency โดยมีความเสี่ยงที่มนุษย์อาจอนุมัติการตัดสินใจของ AI โดยไม่ตั้งคำถาม

  • มีการเสนอแนวคิดในการใช้ตัวแทนมนุษย์มาทำงานแทนในสิ่งที่ AI agent ทำไม่ได้

  • มีการชี้ปัญหาของเฟรมเวิร์กที่จัดการการเรียกใช้เครื่องมือแบบ asynchronous หรือแบบรันระยะยาว แม้จะมีไอเดียสำหรับแก้ปัญหานี้ แต่จะพูดถึงในบทความอื่น

  • มีความเห็นว่าจำเป็นต้องพยายามคงสถานะให้อยู่บนชั้น API ต่อไป

  • มีความเห็นว่าในช่วงแรกของ AI มนุษย์เป็นผู้ทำตรรกะเอง และหลังจากตัดมนุษย์ออกไปคุณภาพก็ลดลง โดยเปรียบว่าให้บริษัทภายนอกเอามนุษย์กลับมาใส่อีกครั้งเป็นเพียงทางแก้ชั่วคราว

  • ในสตาร์ทอัพ มีการให้ความสำคัญกับการแทรกแซงของมนุษย์ และมองว่าจำเป็นต้องมีการควบคุมและกำกับดูแลเพื่อเปลี่ยนศักยภาพของ LLM ให้เป็นคุณค่าที่ใช้งานได้จริง จึงได้สร้าง workflow แบบปรับแต่งเองและกระบวนการแบบ manual ขึ้นมา

  • มีความเห็นว่าบริการที่ให้ความสามารถด้าน input/output พื้นฐานนั้นมีอยู่แล้วในหลายระบบ และน่าจะคุ้มค่าที่จะลองใช้ก่อนลงมือพัฒนาเอง

  • บริษัทอุปกรณ์การแพทย์แห่งหนึ่งกำลังพิจารณาใช้ AI เป็น workflow agent และมีแผนใช้ LLM เพื่อสนับสนุนกระบวนการประกันคุณภาพ ISO13485 โดยต้องการฟังความเห็นจากผู้ใช้ HN คนอื่นๆ