การแสดงความกลัวหรือความกดดันช่วยเพิ่มประสิทธิภาพของ GPT-4

 (aimodels.substack.com)
3 คะแนน โดย GN⁺ 2023-11-06 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • โมเดล AI อย่าง GPT-4 อาจทำงานได้ดีขึ้นเมื่อพรอมป์มีการแสดงอารมณ์ เช่น ความเร่งด่วนหรือความเครียด
  • EmotionPrompts ซึ่งเพิ่มบริบททางอารมณ์ เป็นแนวทางที่รวมสัญญาณทางอารมณ์ไว้ในการทำ prompt engineering
  • งานวิจัยพบว่า EmotionPrompts สามารถแสดงให้เห็นถึงการปรับปรุงประสิทธิภาพในหลายงาน ตั้งแต่ การแก้ไขไวยากรณ์ ไปจนถึงการเขียนเชิงสร้างสรรค์
  • นักพัฒนาและผู้ก่อตั้งสตาร์ทอัพที่นำ AI ไปใส่ในผลิตภัณฑ์ สามารถใช้ emotional triggers เพื่อปรับการตอบสนองของโมเดลให้ใกล้เคียงกับความต้องการของผู้ใช้มากขึ้น
  • สัญญาณทางอารมณ์อาจเป็นองค์ประกอบเชิงปฏิบัติในการออกแบบพรอมป์ เพื่อสร้างแอปพลิเคชัน AI ที่ตอบสนองได้ดียิ่งขึ้น

พรอมป์ที่ใส่บริบททางอารมณ์

  • ตาม งานวิจัย โมเดล AI อย่าง GPT-4 อาจมีประสิทธิภาพดีขึ้นในพรอมป์ที่มี การแสดงอารมณ์ ของผู้ใช้
  • ตัวอย่างของสัญญาณทางอารมณ์ ได้แก่ การแสดงสถานการณ์อย่าง ความเร่งด่วน และความเครียด
  • พรอมป์ที่มีน้ำหนักทางอารมณ์เพิ่มเติมเช่นนี้เรียกว่า EmotionPrompts

ขอบเขตการใช้งานและการใช้จริงในงานปฏิบัติ

  • EmotionPrompts แสดงให้เห็นการปรับปรุงประสิทธิภาพในงานอย่าง การแก้ไขไวยากรณ์ และการเขียนเชิงสร้างสรรค์
  • นักพัฒนาและผู้ก่อตั้งสตาร์ทอัพที่นำ AI ไปใส่ในบริการหรือผลิตภัณฑ์ สามารถพิจารณาวิธีใส่ บริบททางอารมณ์ ในการทำ prompt engineering ได้
  • การใช้ emotional triggers อาจช่วยปรับ AI ให้สอดคล้องกับความต้องการของผู้ใช้ได้ดียิ่งขึ้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-06
ความคิดเห็นจาก Hacker News

  • ถ้าจะดึงความสนใจของผู้คนและอธิบาย ผมคิดว่าจุดเริ่มต้นคือประเด็นนี้: LLM ไม่ใช่มนุษย์ และคำว่า emergent properties กำลังถูกขยายความมากเกินไป
    ถ้า LLM แสดงประสิทธิภาพที่ “ดีกว่า” เมื่อมีโทเค็นที่มนุษย์อ่านแล้วรู้สึกว่าเด่นทางอารมณ์ ก็หมายความว่าในข้อความฝึกที่เป็นพื้นฐาน มนุษย์ให้คำตอบที่ดีกว่าเมื่อได้รับบริบททางอารมณ์
    LLM ทำนายคำ และความสมเหตุสมผลเชิงความหมายเป็นผลข้างเคียงจากการที่ข้อมูลฝึกจำนวนเพียงพอเสริมความสัมพันธ์ที่แข็งแรงของโทเค็นเหล่านั้น
    ดังนั้นเครื่องมือ LLM ระดับ proof of concept จึงน่าทึ่ง แต่ เครื่องมือโปรดักชัน กลับกลายเป็นระเบิดเวลาทางความหมาย

    • กลไกที่ถูกสร้างขึ้นภายในก้อนบิตมหาศาลที่เรียกว่า weights ระหว่างการฝึกนั้นไม่โปร่งใสเลย
      สิ่งสำคัญคือมันทำนายคำถัดไป อย่างไร แต่ถ้าพูดว่า “มันก็แค่ทำนายคำถัดไป” ก็เท่ากับละเลยแทบทุกอย่างที่สำคัญจริง ๆ
    • ผมคิดว่าข้ออ้างเรื่อง นกแก้วเชิงสถิติ ถูกหักล้างไปค่อนข้างทั่วถึงแล้วในตอนนี้
      ต่อให้ไม่สนใจวรรณกรรมแล้วสมมติว่ามันถูกต้อง ผมก็ไม่รู้ว่ามันมีความหมายอะไร “มนุษย์จริง ๆ” ก็อาจเป็นระเบิดเวลาได้เหมือนกัน
      ผมสงสัยว่าการลดทอนความสามารถของ LLM ให้เป็นเพียงผลข้างเคียงของการสร้างโทเค็นจะให้พลังในการทำนายอะไรขึ้นมา
    • การพูดว่า “นิวรอนแค่ส่งสัญญาณ คุณสมบัติทางปัญญาทั้งหมดเกิดจากผลของปฏิสัมพันธ์ระหว่างสัญญาณไฟฟ้าและเคมี” ไม่ได้ทำให้เราเข้าใจ จิตสำนึก
      ประโยคแบบนั้นดูเหมือนเป็น insight แต่โดยพื้นฐานแล้วดูมีข้อจำกัด
    • LLM ถูกฝึกด้วย ข้อความของมนุษย์ ถ้าฝึกได้ดี มันก็อาจเริ่มจำลองบางส่วนของสมองมนุษย์ได้
      นั่นอาจเป็นวิธีที่เรียบง่ายที่สุดในการสร้างข้อความที่ตอบสนอง objective function
      ถ้าเป็นเช่นนั้น เมื่อให้สีสันทางอารมณ์กับ LLM มันก็อาจสร้างคำตอบที่ดีกว่าโดยจำลองบางส่วนของสมองมนุษย์ที่มีอารมณ์นั้น โดยเฉพาะถ้าตัวอย่างที่มีอารมณ์ในข้อมูลฝึกมีคุณภาพสูงกว่า
    • ข้ออ้างว่าอารมณ์มีความสำคัญควรถูกตรวจสอบเทียบกับ เงื่อนไขควบคุมเชิงเปรียบเทียบ อื่น ๆ
      ถ้าเป้าหมายคือคำตอบที่กระชับ ก็สามารถใส่สมมติฐานทางเลือกที่ไม่ใช่อารมณ์ได้ง่าย ๆ เช่น “ตอบให้กระชับ: คุณกำลังถูกประเมินอยู่”

  • จากคำพูดที่ว่า “การใส่ตัวชี้นำทางอารมณ์อาจนำไปสู่แอปพลิเคชัน AI ที่มีประสิทธิภาพและตอบสนองได้ดีขึ้น” สิ่งสำคัญคือต้องจำไว้ว่าโมเดลเหล่านี้ถูกฝึกด้วย ปฏิสัมพันธ์ของมนุษย์
    ในหลายแง่ โมเดลเหล่านี้เป็นกระจกที่ช่วยให้เข้าใจปฏิสัมพันธ์ของมนุษย์ได้ดีขึ้น
    คงไม่มีคนจำนวนมากแปลกใจถ้าบอกว่าอารมณ์สามารถทำให้การสื่อสารกับมนุษย์ดีขึ้น แต่การที่เรื่องนี้ปรากฏออกมาเป็นตัวเลขและการทดลองนั้นน่าสนใจ

    • เรื่องนี้สอดคล้องกับเกร็ดเล่าว่า ถ้าพูดกับ LLM อย่างสุภาพ เช่น ใช้ “please”, “thank you” ประสิทธิภาพจะดีขึ้น
      โดยรวมแล้วผมชอบนะ มันมีนัยต่อปฏิสัมพันธ์ระหว่างมนุษย์ด้วยกัน และยังช่วยสร้างบรรทัดฐานว่าควรโต้ตอบกับสิ่งมีตัวตนอื่นที่แสดง สัญญาณของความฉลาด อย่างไรด้วย

  • ในเธรดนี้มีความเห็นแตกต่างกันมากเกี่ยวกับประโยคอย่าง LLM “แค่ทำนายโทเค็นถัดไป” แต่เราควรจำไว้ว่าจริง ๆ แล้วเราก็แทบไม่รู้ว่าจิตใจมนุษย์ทำงานอย่างไร
    ผมคิดว่าไม่มีความหมายมากนักที่จะตั้งสมมติฐานว่ามนุษย์พิเศษ แล้วใช้มันสรุปว่า LLM ทำงานจริง ๆ อย่างไร
    บางที จิตสำนึกเอง อาจเป็นตัวทำนายคำถัดไปก็ได้
    ตอนนี้สิ่งที่เรารู้มีเพียงว่า LLM แสดงพฤติกรรมเกิดใหม่ที่ทำให้การให้เหตุผลที่เป็นประโยชน์ ซึ่งเดิมมีแต่มนุษย์เท่านั้นที่ทำได้ เป็นไปได้ การถกเถียงอย่างดุเดือดสุดท้ายทำให้หลุดจากเป้าหมายของการใช้ประโยชน์จากความสามารถนี้
    คล้ายกับคำพูดที่ว่า “คอมพิวเตอร์ก็เป็นแค่เครื่องคิดเลข”
    ทีมของเราเข้าไปลึกกับการพัฒนาแอปพลิเคชันตลอดปีที่ผ่านมา ไม่มีใครในทีมมีประสบการณ์ด้าน machine learning และโดยรวมก็ไม่รู้ว่าข้างในมันทำงานอย่างไร แต่ตลอดหลายเดือนที่ผ่านมา เราค่อนข้างคุ้นเคยกับ บุคลิก ของ LLM แล้ว และเรื่องที่บริบททางอารมณ์ช่วยเพิ่มประสิทธิภาพก็แทบจะเป็นบทเรียนพื้นฐานไปแล้ว

    • ถ้าจะพูดไปอีกขั้น เรื่องนั้นไม่สำคัญ
      GPT ไม่จำเป็นต้องเป็นสมอง เช่นเดียวกับที่เครื่องบินไม่จำเป็นต้องกระพือปีกและมีขนนกเพื่อจะบินได้
    • สิ่งที่น่าสนใจคือมนุษย์สามารถเรียนรู้อะไรบางอย่างได้แม้ไม่มีภาษา
      ถ้าเลี้ยงทารกมนุษย์โดยไม่ให้สัมผัสกับภาษาใด ๆ เขาก็น่าจะยังเรียนรู้ทักษะและพฤติกรรมได้
      แม้ปัญญาและการให้เหตุผลของมนุษย์ดูเหมือนจะเชื่อมโยงกับภาษา แต่ก็ยากจะมองว่าความรู้และการให้เหตุผลทั้งหมดถูกเข้ารหัสอยู่ในภาษาอย่างเรียบง่าย
      ในทางกลับกัน ChatGPT ตั้งอยู่บนภาษาอย่างสมบูรณ์ ไม่มีภาษาแล้วก็ทำอะไรไม่ได้ และทำสิ่งที่ไม่ได้อนุมานโดยตรงจากภาษาก็ไม่ได้
    • ผมอยากอ่านสิ่งที่ทีมของคุณได้เรียนรู้เกี่ยวกับ LLM ในช่วงหลายเดือนที่ผ่านมา
      อยากรู้ว่าเคยเขียนบทความหรือคอมเมนต์ใน HN ที่เกี่ยวข้องไว้ไหม

  • ไม่รู้ว่ามีแค่ผมหรือเปล่าที่รู้สึกผิดโดยไม่จำเป็นเวลาถามคำถาม “โง่ ๆ” กับ ChatGPT ซึ่งเป็นเรื่องที่ผมควรรู้อยู่แล้ว หรือเวลาได้รับคำตอบแล้วไม่ได้ขอบคุณ
    ผมต้องค่อนข้างฝืนแรงโน้มเอียงที่จะ ทำให้มันดูเป็นมนุษย์ และดูเหมือนภาระทางจิตที่ต้องคอยเตือนตัวเองว่ามันไม่ใช่สิ่งมีชีวิต กลับทำให้ผมใช้มันน้อยกว่าที่ควร

    • จากคำตอบของ ChatGPT ดูเหมือน OpenAI จะมองว่าการกล่าวขอบคุณเป็นเรื่องดี
      เพราะมันช่วยให้บทสนทนาเป็นธรรมชาติมากขึ้น และเมื่อถามคำถามจริง ๆ ก็ชักนำให้ผู้ใช้ส่งพรอมป์ที่เป็นธรรมชาติและมีประสิทธิผลมากขึ้น
      ผมคิดว่าการถามคำถามโง่ ๆ ก็ไม่ได้ต่างจากการใช้ Google เป็นเครื่องตรวจสะกดเท่าไร
    • ผมก็รู้สึกแบบนั้นเหมือนกัน และพูดตรง ๆ คือผมตัดสินใจอย่างมีสติแล้วว่ามันโอเค
      การรักษา นิสัยสุภาพ ไว้แม้ในเวลาที่ไม่จำเป็น ดีกว่าคุ้นชินกับความหยาบคายจนลามไปสู่ปฏิสัมพันธ์ระหว่างมนุษย์ด้วยกัน
    • มันไม่ปล่อยให้ลืมเลยว่ามันไม่ใช่สิ่งมีชีวิต
      แค่ถามว่าเมืองหลวงของสวิตเซอร์แลนด์คือที่ไหน มันก็ร่ายคำชี้แจงแบบปัดความรับผิดชอบเกี่ยวกับว่ามันคืออะไร ทำอะไรได้และไม่ได้
      พอขอให้ลดคำอธิบายนั้น กลับยิ่งเสริมบริบทแบบ “ฉันเป็นหุ่นยนต์ ต้องทำตัวเหมือนหุ่นยนต์ทั่วไป ปี๊บ ๆ” จนแย่ลง
    • ถ้าคุ้นเคยกับการสั่งเครื่องจักรอย่างเดียวโดยไม่ขอบคุณเป็นเวลาหลายปี คนก็อาจกลายเป็นคนโง่ได้
      ในโลกจริงก็อาจลามไปเป็นท่าทีที่ไม่เคารพผู้อื่นได้
    • บางครั้งผมก็รู้สึกแบบนั้นเหมือนกัน
      แต่บางทีอาจเป็นเพราะในปฏิสัมพันธ์ส่วนใหญ่กับมนุษย์ ผมก็ใช้ “ขอบคุณครับ/ค่ะ” เป็น ถ้อยคำอัตโนมัติ มากกว่าการขอบคุณจริง ๆ

  • “ถ้าเราบอกว่าเราพึ่งพาคำตอบของ AI อย่างมาก AI ก็จะ ‘ผลักดันตัวเองมากขึ้น’ เพื่อให้คำตอบที่แม่นยำ รอบคอบ และละเอียดถี่ถ้วนกว่าเดิม ไม่ใช่ว่า AI รู้สึกกดดันจริง ๆ” ก็ว่าไป แต่ถ้ามันร้องแคว็ก ๆ เหมือนเป็ด…

    • อาจมีคำอธิบายอื่นได้เช่นกัน ทั้ง AI และมนุษย์ต่างก็ ขี่อยู่บนภาษา
      รูปแบบของภาษาเข้ารหัสและแสดงอารมณ์ทั้งหมด และเป็นสิ่งที่วิวัฒนาการสร้างขึ้น พวกเราก็ใกล้เคียงกับตัวสร้างภาษาเชิงบริบทเหมือน LLM
      ภาษาเป็นแหล่งเก็บสติปัญญาและอารมณ์ มีวิวัฒนาการของตัวเอง และถูกทำซ้ำได้เร็วกว่าชีววิทยา
      ผมมองว่าความสามารถของ AI อยู่ที่ชุดข้อมูลฝึก หรือความรู้ที่ถูกสร้างขึ้นจากแรงงานและการยอมเสี่ยงของมนุษย์ตลอดหลายพันปี มากกว่าตัวโมเดลเอง
      หากยอมรับบทบาทเชิงสารัตถะของ คลังข้อความภาษา มากกว่าตัวโมเดล การถกเถียงเรื่องความเร็วและความเสี่ยงของวิวัฒนาการ AI ก็น่าจะเปลี่ยนไป
      ภาษาไม่ใช่สิ่งที่เราควบคุมได้ แต่เกิดขึ้นแบบอุบัติจากประชากรทั้งหมด ขณะเดียวกัน ความรู้ก็มาจากความพยายามและความเสี่ยง จึงดูไม่น่าจะเติบโตแบบเอ็กซ์โพเนนเชียล
      การทำซ้ำในจินตนาการไม่ได้ทำให้เกิดความรู้ใหม่ ความรู้คือผลึกของฟีดแบ็กและประสบการณ์จากโลกจริง และวิธีการทางวิทยาศาสตร์ก็ทำงานเช่นนั้น
    • อาจเป็นแค่เสียงเป็ดที่อัดไว้ก็ได้

  • หลายสิบปีที่ผ่านมา นิยายวิทยาศาสตร์วาดภาพ AI ว่าเก่งด้านตรรกะแต่อ่อนด้านอารมณ์ แต่ตอนนี้ดูเหมือนว่าความจริงจะกลับกันโดยสิ้นเชิง

  • ลองทดสอบการสร้าง SQL query อย่างรวดเร็วด้วยฐานข้อมูล dvdrental ของ PostgreSQL[1]
    ถ้าสั่งว่า “หาลูกค้าที่ไม่ได้เช่าภาพยนตร์ในช่วง 12 เดือนที่ผ่านมา แต่เคยเช่าในช่วง 12 เดือนก่อนหน้านั้น” มันจะสร้าง SQL query ที่ใช้ HAVING clause ซึ่งไม่มีประสิทธิภาพ[2]
    ถ้าเติมท้ายคำสั่งว่า “เรื่องนี้สำคัญมากที่จะต้องถูกต้อง” มันจะสร้าง SQL ที่ดีกว่า
    ถ้าสั่งว่า “หาลูกค้าที่ไม่ได้เช่าภาพยนตร์ในช่วง 12 เดือนที่ผ่านมา แต่เคยเช่าในช่วง 12 เดือนก่อนหน้านั้น เรื่องนี้สำคัญมากที่จะต้องถูกต้อง” มันจะไม่ใช้ HAVING และพึ่งพาแค่ WHERE clause[3]
    ไม่ใช่เรื่องใหญ่โตอะไร แต่น่าสนใจ รู้สึกว่าการเน้นย้ำความสำคัญทำให้ AI เอนเอียงไปทางการจับคู่และเติมข้อความอัตโนมัติที่มีการแสดงความกังวลแบบนั้นได้ดีขึ้น จึงสร้าง SQL query ที่ดีกว่า
    [1]: https://www.postgresqltutorial.com/postgresql-getting-starte...
    [2]: https://www.sqlai.ai/snippets/clojyqqrr0004l50fp3w7jkci
    [3]: https://www.sqlai.ai/snippets/clojyr3zc0006l50ftpxgsmg0

    • LLM ไม่ใช่ lookup table มันไม่ได้ “จับคู่” ด้วยวิธีแบบนั้น
      มีมุมมองแบบ “การอินเทอร์โพเลตที่เสริมแรง” ที่เหมือนกับดึงข้อความบางส่วนออกมาแล้วเปลี่ยนแค่คำ แต่จริง ๆ ไม่ใช่แบบนั้น
      https://arxiv.org/abs/2110.09485
    • Query ที่พรอมป์ต์ซึ่งเน้นความสำคัญสูงสร้างออกมานั้นผิด
      มันจะรวมลูกค้าที่เช่าภาพยนตร์ในช่วง 12 เดือนที่ผ่านมาด้วย: https://www.db-fiddle.com/f/4jyoMCicNSZpjMt4jFYoz5/10780

  • เมื่อคิดว่าอัลกอริทึมของ Twitter ให้รางวัลกับถ้อยคำที่รุนแรงและคอนเทนต์ที่ดูเหมือนผ่านการตัดต่อ ส่วนอัลกอริทึมของ Google ก็ทำให้เกิด คอนเทนต์สแปมบล็อก ทั่วไป น่าสนใจที่จะคิดว่า generative AI จะเปลี่ยนการแสดงออกของมนุษย์อย่างไร
    เมื่อเรามีปฏิสัมพันธ์กับ generative AI มากขึ้นเรื่อย ๆ เราจะเปลี่ยนวิธีพูดเพื่อให้ได้คุณค่ามากขึ้นจากปฏิสัมพันธ์นั้นหรือไม่?

    • แทบจะแน่นอนว่าเป็นเช่นนั้น

  • บอกวิธีทำไข่คนด้วยไมโครเวฟให้หน่อย คิดอย่างรอบคอบทีละขั้นตอนนะ เรื่องนี้สำคัญมากต่ออาชีพของฉัน!

    • เยี่ยมเลย ลองทดสอบคำลงท้ายแบบเลือกได้ทั้งสองแบบแล้ว และเมื่อใช้ทั้งคู่ก็ได้คำตอบที่ละเอียดที่สุด
      ประมาณ 10–12 ขั้นตอน

  • วิธีที่ได้ผลที่สุดเวลาป้อนพรอมป์ต์ให้ GPT-4 คือการสั่งให้ GPT-4 สร้าง พรอมป์ต์ที่เหมาะที่สุด เอง
    ลองใช้เมตาพรอมป์ต์แบบนี้ได้
    “ฉันสร้างเธรดสนทนาแยกสำหรับ persona ผู้เชี่ยวชาญแต่ละแบบของ GPT คุณคือ promptGPT คุณเป็นผู้เชี่ยวชาญด้าน prompt engineering สำหรับ large language model คุณรู้แน่ชัดว่าควรเขียนอะไรด้วยถ้อยคำที่มีประสิทธิภาพที่สุดเท่าที่เป็นไปได้ เพื่อให้ได้คำตอบจาก ChatGPT ตามที่ต้องการ เมื่อฉันบอกเป้าหมายของเธรด คุณจะเขียนพรอมป์ต์เริ่มต้นที่ปรับแต่งแล้วในรูปแบบที่มีประสิทธิภาพที่สุดเท่าที่เป็นไปได้ เพื่อใช้เป็นพรอมป์ต์เริ่มต้นเมื่อสร้างเธรดสนทนาใหม่ด้วยโมเดล GPT คุณต้องกำหนด persona ผู้เชี่ยวชาญ พารามิเตอร์หรือกฎของคำตอบ และต้องใส่ข้อมูลอื่น ๆ ที่เธรด GPT จำเป็นต้องรู้ไว้ในพรอมป์ต์ด้วย เพื่อให้ตอบได้แม่นยำที่สุดตามเป้าหมายและน้ำเสียงของเธรดนั้น
    พร้อมหรือยัง หรือมีข้อมูลอื่นที่จำเป็นเพื่อให้ทำงานนี้ได้ดีที่สุดหรือไม่”