รีวิวหลังใช้ Gemini Pro 1.5 หนึ่งสัปดาห์ - มันวิเศษจริง ๆ

• Gemini Pro 1.5 ซึ่งเป็น LLM เบต้าแบบปิดตัวใหม่ของ Google แสดงประสิทธิภาพที่ดีขึ้นอย่างมากเมื่อเทียบกับโมเดลก่อนหน้า
• Gemini 1.5 Pro สามารถ
  • อ่านนิยายทั้งเรื่องและอธิบายฉากที่ซ่อนอยู่ตรงกลางเรื่องได้อย่างละเอียด
  • อ่านโค้ดเบสทั้งหมดและแนะนำตำแหน่งที่จะเพิ่มฟีเจอร์ใหม่พร้อมตัวอย่างโค้ด
  • อ่านไฮไลต์การอ่านทั้งหมดใน Readwise และคัดเลือกไฮไลต์สำหรับใช้เขียนเรียงความ
• สามารถประมวลผลได้สูงสุด 1 ล้านโทเค็นด้วยพรอมป์ต์เพียงครั้งเดียว
  • เมื่อเทียบกับโมเดลอื่น ๆ context window ของ Gemini Pro 1.5 มีขนาดใหญ่กว่ามาก (GPT-4 Turbo อยู่ที่ 128000 จึงมากกว่าราว 8 เท่า)
  • แม้จะใช้ context window ขนาดใหญ่ ก็ยังจัดการพรอมป์ต์ขนาดมหาศาลได้อย่างยอดเยี่ยม
  • ขณะที่โมเดลอื่นมีประสิทธิภาพลดลงเมื่อขนาดพรอมป์ต์ใหญ่ขึ้น Gemini กลับไม่มีปัญหานั้น
• ข้อควรระวัง
  • Gemini Pro 1.5 ยังอยู่ในช่วงเบต้าแบบปิด และประสิทธิภาพอาจเปลี่ยนแปลงได้เมื่อเปิดให้ใช้งานสาธารณะ
  • Gemini Pro 1.5 มีความเร็วในการประมวลผลช้า โดยเฉพาะกับคำขอขนาดใหญ่
  • OpenAI ยังมีจุดที่ต้องเร่งตาม และความสามารถด้านการค้นคืนข้อมูลก็ยังคงสำคัญ

[dahada]

ลองวางนิยายแล้วคุยโต้ตอบดู แต่ถ้ามีถ้อยคำค่อนข้างวาบหวิวเพียงนิดเดียวก็จะปฏิเสธการประมวลผล แม้จะลดระดับตัวกรองลงแล้วก็ยังมีนิยายที่ใช้งานไม่ได้อยู่ ดูเหมือนว่าจะเลือกความปลอดภัยมากกว่าความยืดหยุ่นในการใช้งาน

[ajh508]

ที่ผ่านมาเวลามีอะไรออกมาแต่ละอย่างก็มักจะฮือฮากันตลอด แต่ดูเหมือนว่ายังไม่มีอะไรที่แซง openAI ได้เลย..
ส่วนตัวผมหวังว่า LLM ที่เปลี่ยนแบ็กโบนทั้งหมดเป็น Mamba จะออกมาเร็ว ๆ นี้

[xguru]

ความคิดเห็นจาก Hacker News

• ฉันชอบไอเดียที่ป้อนข้อความทั้งเล่มให้ AI บางครั้งเวลาอ่านนิยายก็มักจำตัวละครไม่ได้ ถ้าไฮไลต์ชื่อใน e-reader แล้วมันรู้ว่าฉันกำลังอ่าน Neuromancer อยู่ที่หน้า 85 และตอบแบบไม่สปอยล์ได้ก็คงดี หรือถ้ามีหนังสือเรียนที่ช่วยตอนติดโจทย์ ให้ความช่วยเหลือและคำใบ้เหมือนเพื่อนติวที่ดีก็คงยอดเยี่ยม
• จะมั่นใจได้ไหมว่า Google จะไม่เปลี่ยนข้อเท็จจริงในหนังสือเพราะการเมืองเรื่องอัตลักษณ์ของตัวเอง? ถ้าส่งหนังสือที่มีประเด็นอ่อนไหวเข้าไป เนื้อหาจะถูกปรับไหม? ด้วยเหตุนี้สำหรับฉันมันเลยไร้ประโยชน์โดยสิ้นเชิง
• บทความที่ยกตัวอย่างที่ชัดเจน ความสมดุล และข้อควรระวังสำหรับประเด็นแบบนี้ พร้อมเปิดเผยผลประโยชน์ทับซ้อนของตัวเอง (เช่น เป็นนักลงทุนใน LlamaIndex) คือสิ่งที่ฉันอยากอ่าน
• สิ่งที่ฉันตื่นเต้นที่สุดคือการใช้หน้าต่างคอนเท็กซ์ขนาดมหึมาร่วมกับ RAG แทนที่จะทิ้งมันไป ถ้าสามารถพาร์สหนังสือทั้งเล่มเพื่อระบุส่วนที่เกี่ยวข้องและใส่ทั้งเล่มลงในหน้าต่างคอนเท็กซ์ได้ ก็หมายความว่าสามารถใส่ส่วนที่เกี่ยวข้องจากห้องสมุดอ้างอิงทั้งชุดลงไปในหน้าต่างคอนเท็กซ์ได้ด้วย ซึ่งมีอนาคตมาก
• จากที่บางคนได้ลองใช้มาสองสามวันแล้ว นี่เป็นความก้าวหน้าของหน้าต่างคอนเท็กซ์จริง ๆ ไม่ใช่แค่เรื่องความยาวแต่รวมถึงการนำไปใช้ด้วย มันใช้ประโยชน์จากคอนเท็กซ์ได้ดีกว่าโมเดลอื่นมาก น่าเสียดายที่พวกเขาไม่ได้แชร์ว่าทำได้อย่างไร
• แบบนั้นค่าใช้จ่ายจะไม่มหาศาลเหรอ? แค่ยัด gpt-4 จนสุดก็เสีย $1.28 ต่อการโต้ตอบหนึ่งครั้งแล้ว! Gemini ถูกกว่านั้นมากไหม?
• ทาง NSA คงกำลังลูบมือด้วยความยินดีกับความเป็นไปได้ที่เทคโนโลยีนี้จะเปิดขึ้นมา พวกเขาน่าจะใช้มันค้นข้อมูลที่เก็บสะสมไว้อย่างขยันขันแข็งมาหลายปีได้
• มันอ่านโค้ดเบสทั้งระบบ แล้วเสนอว่าควรเพิ่มฟีเจอร์ใหม่ตรงไหน พร้อมยกตัวอย่างโค้ดให้ด้วย ฉันหวังว่านี่จะไม่เหมือนการประดิษฐ์รถยนต์ที่ทำให้รถม้าหายไป แต่จะเหมือนการประดิษฐ์ดรัมแมชชีนที่ไม่ได้ทำให้มือกลองหายไป
• โมเดลพวกนี้มักทำงานต่างออกไปตอนเปิดให้สาธารณะใช้จริง (และแย่ลง) และเราก็ไม่รู้ว่า Gemini จะเป็นอย่างไรเมื่อทำงานในสเกลของ Google ฉันหวังจริง ๆ ว่า Google จะเรียนรู้จากชื่อเสียงที่ถดถอยลงเรื่อย ๆ ของ ChatGPT และหาวิธีรักษาสมรรถนะสูงสุดของโมเดลไว้ได้ ไม่ว่าจะด้วยการจำกัดการเข้าถึง ขึ้นราคา หรือทั้งสองอย่าง ฉันอยากได้ประสบการณ์ที่มีคุณภาพสูงกับโมเดลนี้เมื่อมันเปิดใช้งานจริง