GN⁺: GPT-Prompt-Engineer - วิศวกรพรอมต์ GPT

 (github.com/mshumer)
13 คะแนน โดย xguru 2023-07-13 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • วิศวกรรมพรอมต์มีลักษณะคล้ายการเล่นแร่แปรธาตุ: ไม่มีวิธีที่ชัดเจนในการคาดเดาว่าอะไรจะได้ผลดีที่สุด
  • วิธีเดียวที่จะหาพรอมต์ที่เหมาะสมที่สุดคือการทดลองอย่างต่อเนื่อง
  • gpt-prompt-engineer เป็นเครื่องมือที่ทำให้การทดลองนี้ง่ายขึ้นมาก
  • เมื่ออธิบายงานและให้กรณีทดสอบแบบง่าย ๆ ระบบจะสร้าง ทดสอบ และประเมินพรอมต์หลายแบบเพื่อหาพรอมต์ที่ดีที่สุดให้
  • ฟีเจอร์ที่มีให้
    • การสร้างพรอมต์: ใช้ GPT-4 และ GPT-3.5-Turbo เพื่อสร้างพรอมต์ที่หลากหลาย
    • การทดสอบพรอมต์: ทดสอบพรอมต์แต่ละอันโดยอิงจากกรณีทดสอบ ประเมินประสิทธิภาพ และจัดอันดับด้วยระบบเรตติ้ง ELO
    • ระบบเรตติ้ง ELO: พรอมต์แต่ละอันเริ่มต้นที่ระดับ 1200 ELO แล้วแข่งขันกันและเปลี่ยนแปลงตามผลงาน ทำให้เห็นได้ว่าพรอมต์ใดดีที่สุด
    • เวอร์ชัน Classification: โน้ตบุ๊กที่ออกแบบมาสำหรับงานจัดประเภท ประเมินความแม่นยำของแต่ละกรณีทดสอบและแสดงคะแนนของแต่ละพรอมต์เป็นตาราง
    • Weights & Biases Logging: รองรับการบันทึกค่าอย่างอุณหภูมิ จำนวนโทเค็นสูงสุด พรอมต์ระบบ/ผู้ใช้ กรณีทดสอบ และระดับ ELO สุดท้าย เป็นต้น

เนื้อหาที่ GN⁺ สรุป

  • วิศวกรรมพรอมต์เป็นเหมือนการเล่นแร่แปรธาตุที่การทดลองคือหัวใจสำคัญ
  • gpt-prompt-engineer คือเครื่องมือที่ยกระดับงานวิศวกรรมพรอมต์ไปอีกขั้น
  • ใช้ GPT-4 และ GPT-3.5-Turbo เพื่อสร้างพรอมต์ตาม use case และกรณีทดสอบ
  • ระบบใช้ระบบจัดอันดับ ELO เพื่อทดสอบและจัดลำดับพรอมต์
  • ระบบเรตติ้ง ELO ช่วยให้ตรวจสอบได้ง่ายว่าพรอมต์ใดมีประสิทธิภาพดีที่สุด
  • gpt-prompt-engineer ยังมีเวอร์ชันสำหรับงานจัดประเภทด้วย
  • มันประเมินความแม่นยำของกรณีทดสอบและให้คะแนนสำหรับแต่ละพรอมต์
  • สามารถติดตามการตั้งค่าและอันดับได้ผ่านการบันทึกลง Weights & Biases แบบเลือกใช้
  • หากต้องการใช้ gpt-prompt-engineer ต้องเปิดโน้ตบุ๊กใน Google Colab หรือ Jupyter โน้ตบุ๊กบนเครื่อง
  • เพิ่ม OpenAI API key และเลือกรุ่นโมเดลที่เหมาะสม
  • กำหนด use case และกรณีทดสอบ
  • เลือกจำนวนพรอมต์ที่จะสร้าง
  • เรียกใช้ฟังก์ชันที่เหมาะสมเพื่อสร้างและทดสอบพรอมต์
  • ระดับ ELO หรือคะแนนสุดท้ายจะแสดงในตาราง
  • ยินดีต้อนรับการมีส่วนร่วมในโปรเจกต์
  • โปรเจกต์นี้ใช้สัญญาอนุญาต MIT
  • สำหรับข้อมูลเพิ่มเติม โปรดติดต่อ Matt Shumer

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-13
ความเห็นจาก Hacker News
  • จัดอันดับตามความสามารถของ GPT4 ในการจินตนาการประสิทธิภาพของพรอมป์ต์ แทนที่จะทำการวัดผลเทียบเคียงจากคำตอบจริงของโมเดล
  • ความนิยมของเครื่องมือนี้ในหมู่นักพัฒนา AI อาจมาจากเสน่ห์ของการใช้ LLMs ประเมิน LLMs แต่สำหรับการประเมินประสิทธิภาพในแอปพลิเคชันจริงนั้นไม่มีทางลัด
  • วิศวกรรมพรอมป์ต์ไม่ได้ถูกมองว่าเป็นศาสตร์ที่แม่นยำแบบเดียวกับสาขาวิศวกรรมดั้งเดิม
  • มีข้อกังวลเกี่ยวกับต้นทุนและความยากในการใช้ GPT-4 กับเครื่องมือนี้ รวมถึงคำถามว่าหลังจากเจอพรอมป์ต์ที่เหมาะที่สุดแล้ว การเปลี่ยนพรอมป์ต์ต่อไปยังคุ้มค่าหรือไม่
  • การสร้างพรอมป์ต์เพื่อทำวิศวกรรมพรอมป์ต์อาจมองได้ว่าเป็นรูปแบบหนึ่งของเมตาเอนจิเนียริง
  • มีความกังวลเกี่ยวกับการเก็บข้อมูลผู้ใช้โดย GPT-Engineer และแรงจูงใจเบื้องหลัง
  • บางคนเสนอให้ใช้ GPT สร้างพรอมป์ต์เพื่อยิ่งลดการป้อนข้อมูลจากมนุษย์ลงไปอีก
  • ในบทความไม่ได้อธิบายวิธีการจัดอันดับของพรอมป์ต์