Representation Engineering: Mistral-7B ใน Acid Trip

 (vgel.me)
2 คะแนน โดย GN⁺ 2024-02-19 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

Representation Engineering: Mistral-7B, Acid Trip

  • เวกเตอร์ควบคุมคืออะไร?

    • เวกเตอร์ควบคุมคือเวกเตอร์ (รายการเวกเตอร์ในแต่ละเลเยอร์) ที่นำไปใช้กับการกระตุ้นของโมเดลในช่วงการอนุมาน เพื่อให้สามารถควบคุมพฤติกรรมของโมเดลได้โดยไม่ต้องใช้พรอมต์เพิ่มเติม
    • โดยใช้พรอมต์และโมเดลชุดเดียวกัน การใส่หรือไม่ใส่เวกเตอร์ควบคุม และขนาดของเวกเตอร์จะสร้างผลลัพธ์ที่ต่างกัน

  • การสร้างเวกเตอร์ควบคุมไม่ยาก

    • ใช้ PCA สร้างชุดข้อมูลคู่พรอมต์ที่มีความตรงข้ามกันแล้วรันโมเดลเพื่อเก็บสถานะแฝงในแต่ละเลเยอร์ จากนั้นใช้ single-component PCA เพื่อให้ได้เวกเตอร์ควบคุมในแต่ละเลเยอร์
    • กระบวนการนี้ใช้โค้ดเพียงไม่กี่บรรทัดและใช้เวลาเพียงประมาณ 1 นาที

  • สิ่งที่ทำได้ด้วยเวกเตอร์ควบคุม

    • ด้วยเวกเตอร์ควบคุม คุณสามารถทำให้โมเดล AI อยู่ในโหมด "acid trip" หรือควบคุมให้มีอารมณ์เช่น "ขี้เกียจ" "ขยัน" "สร้างสรรค์" ได้
    • เวกเตอร์ควบคุมแต่ละตัวสามารถฝึกฝนให้พร้อมใช้ได้ภายในไม่กี่นาที และคุณสามารถลองเองได้ในสมุดทดลองบน GitHub

  • เปรียบเทียบเวกเตอร์ควบคุมกับ Prompt Engineering

    • เวกเตอร์ควบคุมและ Prompt Engineering เป็นแนวทางที่แตกต่างกัน แต่มีบางส่วนที่ซ้อนทับกัน
    • เวกเตอร์ควบคุมสามารถสร้างผลลัพธ์ที่สามารถจำลองได้ด้วย Prompt Engineering ได้ แต่การปรับความแรงทำได้ง่ายกว่า

ความเห็นของ GN⁺

  • ความสำคัญของเวกเตอร์ควบคุม: เวกเตอร์ควบคุมเป็นเครื่องมือที่ทรงพลังสำหรับการปรับพฤติกรรมของโมเดล AI อย่างละเอียด ช่วยเปิดมุมมองใหม่ที่เกินขีดจำกัดของ Prompt Engineering
  • ประสิทธิภาพและการเข้าถึง: ด้วยเวกเตอร์ควบคุม ผู้ใช้สามารถปรับพฤติกรรมโมเดลได้อย่างง่ายดาย โดยไม่ต้องออกแบบพรอมต์ที่ซับซ้อนมาก ซึ่งอาจช่วยยกระดับการใช้งาน AI ได้อย่างมาก
  • การใช้งานเชิงสร้างสรรค์: การทดลองสร้างสถานะ “acid trip” ให้กับ AI ด้วยเวกเตอร์ควบคุมเป็นตัวอย่างที่แสดงให้เห็นแนวทางเชิงทดลองที่เพิ่มมิติใหม่ให้กับงานวิจัย AI

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-02-19
ความคิดเห็นบน Hacker News
  • ฉันรู้สึกทึ่งมากกับความคิดว่าผลกระทบของเทคโนโลยีนี้อาจยิ่งใหญ่ถึงขีดสุด แม้ความเข้าใจของฉันอาจไม่แม่นยำทั้งหมด แต่ดูเหมือนว่ามันหมายถึงการเก็บ "control vector" ส่วนบุคคล เพื่อปรับผลลัพธ์ของ ChatGPT ให้ใกล้เคียงกับความชอบของแต่ละคนมากขึ้น ซึ่งอาจนำไปสู่ AI บันเทิงแบบเฉพาะตัว และในตลาดแบบนี้อาจเกิด network effect ที่เข้มข้นทั้งระดับบุคคลและระดับโลก ซึ่งชี้ว่าในอนาคตอาจมีบริษัทใหญ่รายเดียวผูกขาดทุกตลาด
  • เขียนได้ดีและน่าสนใจ ขอให้แชร์เอกสารหรือบล็อกโพสต์ที่ช่วยทำความเข้าใจ LLM ให้มากขึ้นหน่อย
  • ทำให้นึกถึงฮอร์โมนของมนุษย์ ควบคุมพฤติกรรมของโมเดลได้มากในครั้งเดียว คิดว่าภายในสิบปีคงได้เห็นจิตแพทย์ AI มอบการเสริม "control vector" เพื่อความสุข ให้ผู้ช่วยคอยรับใช้แล้ว
  • นี่เป็นครั้งแรกที่เห็นการสรุป LLM ในรูปแบบนี้ และชอบแนวทางนี้มาก
  • บทความนี้น่าสนุก และเป็นการเทียบเคียงที่ดีต่อโพสต์ล่าสุดเรื่อง AI ที่น่าเบื่อหน่าย “You Sound Like a Bot” ในแง่มุมที่ไม่ซีเรียส การจะหา "self-awareness vector" เป็นโจทย์ใหญ่ของนักเขียนนิยายวิทยาศาสตร์ที่รู้ว่ามันจะก่อให้เกิดปัญหาให้แก่มนุษยชาติ
  • มันคล้ายการชดเชยอคติ และถือเป็นคู่แข่งของ LoRA พอลองจูนความละเอียดของเวกเตอร์ที่เพิ่มเข้าไปใน activation ของแต่ละ linear layer ก็สามารถได้ adapter ที่ดีได้
  • บทความดีมาก คำถามคือ ทำไมต้องรวม control vector เข้ากับทุกชั้นของเครือข่ายประสาท เพราะเวกเตอร์แต่ละตัวกระทบทุกชั้นที่ผ่านผ่าน ทำให้การแทนข้อมูลเกิดการบิดเบือนมากเกินไปหรือเปล่า?
  • บทความยอดเยี่ยมมาก การใช้ control vector เปลี่ยนการประเมินของโมเดลต่อพฤติกรรมคนอื่น ไม่ใช่การเปลี่ยนพฤติกรรมของโมเดลเอง ซึ่งก็คือเวกเตอร์ความซื่อสัตย์เดียวกันที่ได้มาจากการสั่งโมเดลให้ซื่อสัตย์หรือไม่ซื่อสัตย์
  • ด้าน inference (การเพิ่มบางอย่างที่ทุกชั้น) คล้ายกับ LoRA อย่างมาก คำถามคือตัว control vector เข้ารหัสเป็น LoRA แล้วใช้กับเฟรมเวิร์ก inference เดิมได้อย่างไรโดยไม่มีปัญหาใหญ่ หรือว่าฉันเข้าใจผิด
  • มีคำถามว่าถ้าใช้หลายเวกเตอร์พร้อมกันได้ไหม เช่น ผสมกันระหว่าง hallucination และ sad, honest และ self-aware, lazy และ creative