GPT-4 API เปิดให้ใช้งานทั่วไป

 (openai.com)
1 คะแนน โดย GN⁺ 2023-07-07 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • นักพัฒนา API เดิมที่มีประวัติการชำระเงินสามารถใช้ GPT-4 API คอนเท็กซ์ 8K ได้ และการเปิดให้เข้าถึงสำหรับนักพัฒนาใหม่กับการขยายขีดจำกัดความเร็วจะดำเนินการเป็นลำดับตามความพร้อมของทรัพยากรคอมพิวต์
  • GPT-3.5 Turbo, DALL·E และ Whisper API ก็ถูก เปิดให้ใช้งานทั่วไป ด้วยเหตุผลว่าโมเดลมีเสถียรภาพและพร้อมสำหรับการใช้งานระดับโปรดักชัน ส่วนการ fine-tuning ของ GPT-4 และ GPT-3.5 Turbo มีกำหนดให้บริการภายในปลายปีนี้
  • ขณะที่ Chat Completions API คิดเป็น 97% ของการใช้งาน GPT บน OpenAI API อินเทอร์เฟซแบบมีโครงสร้าง เช่น system message และ function calling ได้เข้ามาแทนที่กรณีใช้งานส่วนใหญ่ของ Completions API เดิม
  • ตั้งแต่วันที่ 4 มกราคม 2024 เป็นต้นไป โมเดลเก่าของ Completions API, โมเดล embedding เก่า และโมเดลที่เกี่ยวข้องกับ Edits API จะใช้งานไม่ได้แล้ว จึงต้องย้ายไปใช้ gpt-3.5-turbo-instruct, text-embedding-ada-002, GPT-3.5 Turbo เป็นต้น
  • Completions API จะถูกระบุในเอกสารว่าเป็น legacy และไม่มีแผนเปิดตัวโมเดลใหม่ ดังนั้นการผสานระบบใหม่ควรออกแบบโดยยึด Chat Completions API เป็นหลักจึงจะปลอดภัยกว่า

ขอบเขตการเปิดให้ใช้ GPT-4 API และ API หลัก

  • OpenAI ให้สิทธิ์เข้าถึง GPT-4 แก่ ลูกค้า API แบบชำระเงิน ทุกคน
    • นักพัฒนา API เดิมที่มีประวัติการชำระเงินสำเร็จสามารถใช้ GPT-4 API คอนเท็กซ์ 8K ได้
    • มีแผนเปิดให้เข้าถึงสำหรับนักพัฒนาใหม่ภายในสิ้นเดือนนี้
    • หลังจากนั้นจะเพิ่มขีดจำกัดความเร็ว (rate limit) ตามความพร้อมของทรัพยากรคอมพิวต์
  • GPT-4 เป็นโมเดลที่ทรงพลังที่สุดของ OpenAI และนับตั้งแต่เดือนมีนาคม มีนักพัฒนาหลายล้านคนร้องขอสิทธิ์เข้าถึง GPT-4 API
  • GPT-3.5 Turbo, DALL·E และ Whisper API ก็เปิดให้ใช้งานทั่วไปเช่นกัน
    • เหตุผลคือโมเดลมีเสถียรภาพและพร้อมสำหรับการใช้งานระดับโปรดักชัน
  • การ fine-tuning ของ GPT-4 และ GPT-3.5 Turbo อยู่ระหว่างการทำงานเพื่อเปิดใช้งานอย่างปลอดภัย และมีกำหนดให้บริการภายในปลายปีนี้
  • หลังการอัปเดตวันที่ 24 เมษายน 2024 ชื่อ “ChatGPT API” ถูกยกเลิกแล้ว และการกล่าวถึง ChatGPT API ในบทความนี้หมายถึง GPT-3.5 Turbo API

การย้ายไปยึด Chat Completions API เป็นหลัก

  • Chat Completions API เปิดตัวในเดือนมีนาคม และปัจจุบันคิดเป็น 97% ของการใช้งาน GPT บน OpenAI API
  • Completions API เดิมเปิดตัวในเดือนมิถุนายน 2020 เพื่อโต้ตอบกับโมเดลภาษาด้วยพรอมป์ข้อความแบบอิสระ
  • อินเทอร์เฟซพรอมป์ที่มีโครงสร้างมากขึ้นสามารถให้ผลลัพธ์ที่ดีกว่าวิธีเดิมได้
    • system message
    • function calling
    • multi-turn conversation
  • Chat Completions API รองรับทั้งประสบการณ์แบบสนทนาและงาน completion ที่หลากหลาย
  • การแยกคอนเทนต์ที่ผู้ใช้ส่งเข้ามาออกจากคำสั่งในเชิงโครงสร้าง ช่วยลด ความเสี่ยงจากการโจมตีแบบ prompt injection ได้
  • OpenAI วางแผนจะลงทุนด้านการพัฒนาแพลตฟอร์มส่วนใหญ่ต่อไปในทิศทางนี้
    • log probabilities ของ completion token
    • การปรับปรุง steerability เพื่อลด “chattiness” ของคำตอบ
    • รายการข้างต้นคือช่องว่างที่ยังคงเหลืออยู่ใน Chat Completions API

การยุติโมเดลเก่าของ Completions API

  • OpenAI จะยุติโมเดลเก่าบางส่วนของ Completions API ในอีก 6 เดือน เพื่อเพิ่มการลงทุนใน Chat Completions API และปรับประสิทธิภาพความจุของทรัพยากรคอมพิวต์
  • ตัว Completions API เองจะยังเข้าถึงได้ต่อไป แต่ในเอกสารสำหรับนักพัฒนาจะถูกระบุว่าเป็น legacy ตั้งแต่วันนี้
  • การปรับปรุงโมเดลและผลิตภัณฑ์ในอนาคตจะมุ่งเน้นที่ Chat Completions API และไม่มีแผนเปิดตัวโมเดลใหม่สำหรับ Completions API
  • ตั้งแต่วันที่ 4 มกราคม 2024 เป็นต้นไป โมเดล completion เก่าจะใช้งานไม่ได้และจะถูกแทนที่ด้วยโมเดลใหม่
    • ada, babbage → babbage-002
    • curie, davinci → davinci-002
    • davinci-instruct-beta, curie-instruct-beta, text-ada-001, text-babbage-001, text-curie-001, text-davinci-001, text-davinci-002, text-davinci-003 → gpt-3.5-turbo-instruct
  • แอปพลิเคชันที่ใช้ชื่อโมเดลเสถียรอย่าง ada, babbage, curie, davinci จะถูกอัปเกรดอัตโนมัติเป็นโมเดลใหม่ในวันที่ 4 มกราคม 2024
  • babbage-002 และ davinci-002 จะพร้อมให้ทดสอบล่วงหน้าได้ในอีกไม่กี่สัปดาห์ข้างหน้า โดยระบุชื่อโมเดลนั้นในการเรียก API
  • ผู้ใช้โมเดล completion เก่าอื่น ๆ เช่น text-davinci-003 ต้องเปลี่ยนพารามิเตอร์ model ในคำขอ API เป็น gpt-3.5-turbo-instruct ด้วยตนเองภายในวันที่ 4 มกราคม 2024
    • gpt-3.5-turbo-instruct เป็นโมเดลสไตล์ InstructGPT ที่ได้รับการฝึกในลักษณะคล้ายกับ text-davinci-003
    • มีกำหนดให้ใช้งานเป็นโมเดลที่สามารถ แทนที่ได้ทันที (drop-in replacement) ใน Completions API

การเปลี่ยนผ่านสำหรับผู้ใช้โมเดล fine-tuning

  • หากต้องการใช้โมเดล fine-tuning ต่อไปหลังวันที่ 4 มกราคม 2024 ต้อง fine-tune โมเดลทดแทนใหม่บนโมเดลฐานตัวใหม่
    • โมเดลฐาน GPT-3 ใหม่: babbage-002, davinci-002
    • โมเดลที่ใหม่กว่า: gpt-3.5-turbo, gpt-4
  • เมื่อมีการให้บริการ fine-tuning ของ GPT-3.5 Turbo และ GPT-4 ผู้ใช้ที่เคย fine-tune โมเดลเก่าในอดีตจะได้รับ สิทธิ์เข้าถึงก่อน
  • เนื่องจากการย้ายออกจากโมเดลที่ fine-tune ด้วยข้อมูลของตนเองเป็นเรื่องยาก จึงมีแผนจะช่วยผู้ใช้เดิมเพื่อให้การเปลี่ยนผ่านราบรื่นที่สุด
  • นักพัฒนาที่เพิ่งใช้โมเดลเก่าเมื่อไม่นานมานี้จะได้รับการติดต่อภายในอีกไม่กี่สัปดาห์ข้างหน้า และจะให้ข้อมูลเพิ่มเติมเมื่อการเตรียมทดสอบโมเดล completion ใหม่ล่วงหน้าเสร็จสิ้น

การยุติโมเดล embedding เก่า

  • ผู้ใช้โมเดล embedding เก่าต้องย้ายไปใช้ text-embedding-ada-002 ภายในวันที่ 4 มกราคม 2024
  • text-embedding-ada-002 เปิดตัวในเดือนธันวาคม 2022 และได้รับการยืนยันว่าแข็งแกร่งกว่าและคุ้มค่ากว่าโมเดลก่อนหน้า
  • ปัจจุบัน text-embedding-ada-002 คิดเป็น 99.9% ของการใช้งาน embedding API ทั้งหมด
  • OpenAI จะรับผิดชอบ ค่าใช้จ่ายในการ re-embedding เพื่อฝังเนื้อหาใหม่ด้วยโมเดลใหม่
  • โมเดลด้านล่างทั้งหมดจะถูกแทนที่ด้วย text-embedding-ada-002
    • code-search-ada-code-001, code-search-ada-text-001
    • code-search-babbage-code-001, code-search-babbage-text-001
    • text-search-ada-doc-001, text-search-ada-query-001
    • text-search-babbage-doc-001, text-search-babbage-query-001
    • text-search-curie-doc-001, text-search-curie-query-001
    • text-search-davinci-doc-001, text-search-davinci-query-001
    • text-similarity-ada-001, text-similarity-babbage-001, text-similarity-curie-001, text-similarity-davinci-001

การยุติ Edits API

  • ผู้ใช้ Edits API และโมเดลที่เกี่ยวข้องต้องย้ายไปใช้ GPT-3.5 Turbo ภายในวันที่ 4 มกราคม 2024
    • ตัวอย่าง: text-davinci-edit-001, code-davinci-edit-001
  • Edits API รุ่นเบต้าเป็น API เชิงสำรวจในระยะแรกที่สร้างขึ้นเพื่อส่งคืนพรอมป์เวอร์ชันที่แก้ไขแล้วตามคำสั่ง
  • ฟีดแบ็กที่ได้จาก Edits API ถูกนำไปใช้ในการพัฒนา gpt-3.5-turbo และ Chat Completions API
  • Chat Completions API ก็สามารถใช้เพื่อวัตถุประสงค์เดียวกันได้
    • ในตัวอย่าง มีการระบุคำขอเปลี่ยนแปลงที่จะนำไปใช้กับโค้ดเป็น system message และเมื่อผู้ใช้ขอให้เปลี่ยนชื่อฟังก์ชัน Fibonacci เป็น fib assistant จะส่งคืนโค้ดที่แก้ไขแล้ว

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-07
ความคิดเห็นจาก Hacker News

  • ควรสนับสนุนและผลักดันให้ LLM แบบรันในเครื่อง แพร่หลาย
    ถ้าใช้ GPT ก็เท่ากับจ่ายเงินให้ OpenAI และเงินนั้นก็จะถูกนำไปใช้ล็อบบี้รัฐบาลเพื่อกำจัดคู่แข่ง สุดท้ายก็เป็นผลเสียทั้งต่อตัวเราเองและกระเป๋าเงินของเรา
    OpenAI ไม่มีคูเมืองทางธุรกิจเลย นอกจากเอาเงินไปจ่ายให้เขียนกฎหมายแทนตัวเอง
    ตอนนี้ก็สามารถรัน LLM ที่ฉลาดและเร็วแบบน่ากลัวได้บนโน้ตบุ๊กอายุ 5 ปีที่ไม่มี GPU ดังนั้นอย่างน้อยอนาคตก็ดูน่าสนใจ

    • อยากให้ช่วยอธิบายเพิ่มว่า “ฉลาดและเร็วแบบน่ากลัว” หมายถึงอะไร
      ตอนที่ลองเมื่อเดือนสองเดือนก่อน มันทั้งช้าจนน่าหดหู่และแทบใช้การไม่ได้ในเกือบทุกงาน
      ทุกครั้งที่มีใครบอกว่าโมเดลไหน “ได้ 90% ของ GPT-3” ผมก็คาดหวัง แต่สุดท้ายก็ผิดหวังแรงทุกที
      อนึ่ง หลังจากได้ใช้ GPT-4 แล้ว แม้แต่ GPT-3 เองก็ทำให้รู้สึกผิดหวังแทบทุกครั้ง
    • การรัน LLM ในเครื่อง กับการจ่ายค่าเข้าถึง OpenAI เป็นคนละประเด็นกัน
      ผมก็สงสัยเหมือนกันว่าตอนนี้เราใช้ LLM ตัวไหนสำคัญมากขนาดนั้นหรือเปล่า ไม่ว่าจะเป็นแบบรันในเครื่องหรือโฮสต์ไว้ ไม่ว่าจะเป็น OpenAI หรือเอนจินอื่น
      ดูเหมือนอินเทอร์เฟซจะค่อย ๆ ไปจบที่พรอมป์ต์แบบแชต และไอเดียใหม่ ๆ ในการจูนโมเดลพื้นฐานหรือเพิ่มประสิทธิภาพก็ถูกเผยแพร่แทบทุกสัปดาห์
      ถ้าจะสร้างผลิตภัณฑ์บน generative AI ก็น่าจะเริ่มจากของฟรีหรือของที่เข้ากับสภาพแวดล้อมการพัฒนาได้ก่อน
      วิธีโต้ตอบกับ generative AI แบบข้อความหรือ API ของมัน น่าจะคล้ายกันอยู่ดีไม่ว่าตอนนั้นเอนจินตัวไหนจะเหมาะสมที่สุด
      ถ้าอย่างนั้นก็น่าจะสลับ เปลี่ยนแบ็กเอนด์ ได้ เหมือนเว็บเซอร์วิสที่เลียนแบบ AWS S3 API
      สุดท้ายก็อาจสร้างผลิตภัณฑ์ด้วย OpenAI หรือโมเดลอื่นไปก่อน แล้วค่อยย้ายภายหลังตามต้นทุนและความเหมาะสม
      ยังสามารถทำต้นแบบผลิตภัณฑ์ทั้งตัวด้วย LLM คุณภาพต่ำกว่า แล้วค่อยส่งคำขอไป GPT-4 เป็นครั้งคราวเพื่อยืนยันการทำงานก็ได้
      การเชื่อว่าเทคโนโลยีนี้จะถูกจำกัดด้วยกฎหมายดูจะเกินจริงไปหน่อย ต่อให้ OpenAI ล็อบบี้มากแค่ไหนก็ไม่ได้สิ่งที่ต้องการเสมอไป มีกรณี FTX เป็นตัวอย่าง
      LLM สามารถรันในเครื่องได้ และสำหรับผู้ใช้เองเอนจินก็อาจเป็นกล่องดำ เมื่อคำนึงถึงประโยชน์สาธารณะด้วย ก็ไม่แน่ใจว่ากฎหมายจะหยุดการแพร่กระจายจริง ๆ ได้อย่างไร
    • อยากให้แชร์ลิงก์หน่อย จุดที่ไม่มี GPU นี่แหละคืออุปสรรคใหญ่สุดที่ทำให้ยังไม่ลองตัวเลือกแบบรันในเครื่อง
      ผมมีโน้ตบุ๊กเก่าที่ RAM 16GB และไม่มี GPU แบบนี้จะรันโมเดลพวกนี้ได้ไหม?
    • ประเด็นดีมาก ผมกำลังจะกลับไปสมัคร $20 ต่อเดือน ใหม่ แต่คงปล่อยให้ยกเลิกต่อไปดีกว่า
      ไม่ควรเอาเงินไปสนับสนุนเครื่องจักรโฆษณาชวนเชื่อ AI
    • GPT-4 รันอยู่บน 8 x 220B พารามิเตอร์[1] และ GPT ก็น่าจะมีราว ๆ 220B พารามิเตอร์
      LLM ในเครื่องอาจดีสำหรับงานบางอย่าง แต่เมื่อเทียบกับขนาดโมเดลและฮาร์ดแวร์ที่ OpenAI ทุ่มให้กับ API แล้ว มันทั้งช้ากว่าและความสามารถก็น้อยกว่ามาก
      จากประสบการณ์ลอง รันโมเดล 7B บน CPU ด้วย ggml บนโน้ตบุ๊ก Intel i7 รุ่นที่ 12 มันยังช้ากว่า gpt-3-turbo API มาก
      [1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296

  • นี่เป็นเรื่องใหญ่จริง ๆ เพราะเหมือนกำลังจะเลิกใช้ text-davinci-003
    เท่ากับว่าโมเดลที่มีความสามารถที่สุดตัวสุดท้ายที่ยังเหลืออยู่ และอิสระของรูปแบบ text completion จะหายไป
    จากนี้ทุกอย่างจะกลายเป็นโมเดลแชตที่ถูกเซนเซอร์/จัดแนว หรือโมเดลแบบ instruction ที่มีข้อจำกัดเชิงอุปมาเกี่ยวกับอินพุตอย่างตามอำเภอใจ gpt3.5-turbo เทียบกันแล้วแย่มาก
    แบบนี้น่าจะทำให้ผมหยุดใช้ OpenAI ไปเป็นส่วนใหญ่ แม้ค่า API เดือนละ $5~$10 จะไม่ได้มีความหมายมากนัก แต่มันก็ยิ่งเพิ่มแรงจูงใจให้ไปรันโมเดล Llama 65B ในเครื่อง

    • ผมไม่ได้ใช้ text-davinci-003 มากนัก เลยสงสัยว่าทำไมคุณถึงชอบมันมาก
      มันให้อะไรที่โมเดลอื่นไม่มี?
      ก่อนมันจะยุติในวันที่ 4 มกราคม 2024 มีอะไรสนุก ๆ ที่ควรลองบ้าง?
    • ในโมเดล v3 นั้น TextCompletion ดีกว่า ChatCompletion มาก
      แต่ถ้า davinci อยู่ในระดับราคาเดียวกับ GPT-4 ก็หวังว่า GPT-4 จะพัฒนาขึ้นมาพอที่จะเป็นตัวแทนได้ ทั้งในแง่ความหลากหลายของคำศัพท์และความประณีตทางภาษาที่ชี้นำได้
      โดยรวมแล้วผมคิดว่าคนยังประเมินต่ำไปว่าการขยับไปทางโมเดลแบบ instruction จะทำให้เราเสียอะไรไปมากแค่ไหน
      อยากให้มีผู้เล่นที่ฉลาดในตลาด ทำการปรับพรอมป์ต์แบบ instruction ให้เหมาะล่วงหน้า แล้วแปลงเป็นรูปแบบที่เข้ากับโมเดลที่ไม่ได้ถูกจูนไว้
      ถ้าขนาดพารามิเตอร์เท่ากัน แค่ไม่ตัดทอน underlying model ก็น่าจะทำให้ผู้ใช้ปลายทางรู้สึกว่ามันก้าวหน้าขึ้นมากแล้ว
    • ชื่อมันชวนสับสน แต่ code-davinci-002 จริง ๆ แล้วเป็นโมเดลที่อิง GPT-3.5 และทำได้แค่ completion โดยไม่มี mode collapse
      เท่าที่ผมเห็น มันยังใช้ได้บน Azure อยู่ และ text-davinci-003 ก็คือเวอร์ชันที่ fine-tune มาจากตัวนี้
      ข้อมูลเพิ่มเติม:
      https://platform.openai.com/docs/model-index-for-researchers
    • การจ่ายเดือนละ $5~$10 นั่นแหละอาจเป็นเหตุผลที่พวกเขาปิด endpoint พวกนั้น
    • พวกเขาคงอยากให้บริการทุกโมเดลต่อไป แต่ดูเหมือนต้องตัดสินใจยากเพราะ ข้อจำกัดด้านฮาร์ดแวร์
      Sam Altman ก็เคยพูดแล้วว่าฮาร์ดแวร์กำลังขัดขวางสิ่งที่เขาอยากทำ
      ผมอยู่ในรายชื่อรอ GPT-4 API มาหลายเดือนแล้ว ซึ่งก็น่าจะเป็นเพราะพวกเขารับมือกับความต้องการไม่ไหว

  • "ถ้าหลังวันที่ 4 มกราคม 2024 ยังต้องการใช้โมเดล fine-tuned ต่อไป ก็ต้องนำโมเดลทดแทนไป fine-tune ใหม่บนโมเดลฐาน GPT-3 รุ่นใหม่ (ada-002, babbage-002, curie-002, davinci-002) หรือโมเดลที่ใหม่กว่า (gpt-3.5-turbo, gpt-4)" ใช่ไหม
    ถ้าอย่างนั้นหมายความว่าจะใช้ โมเดลที่ fine-tune จากข้อมูลของตัวเองต่อไปไม่ได้แล้วหรือ?
    ไม่แน่ใจว่านี่หมายความว่าคนที่จ่ายเงินทำโมเดล fine-tuned จะต้องจ่ายค่าโทเคนสำหรับฝึกใหม่อีกครั้งบนโมเดลเซ็นเซอร์ตัวใหม่หรือเปล่า

    • ผมทำงานอยู่ที่ OpenAI เราวางแผนจะรับภาระค่าใช้จ่ายในการ fine-tune โมเดลทดแทนเอง
      ตอนนี้ยังอยู่ระหว่างปรับรายละเอียดว่าวิธีไหนจะเหมาะกับลูกค้าแต่ละรายที่สุด และในอีกไม่กี่สัปดาห์ข้างหน้าจะติดต่อไปหาลูกค้าเพื่อรับฟีดแบ็กเกี่ยวกับแนวทางต่าง ๆ
    • ถ้าน้ำหนักโมเดลไม่ใช่ของฉัน Bitcoin ก็ไม่ใช่ของฉันเหมือนกัน
    • จากเรื่องนี้ดูเหมือนว่าผู้ใช้เชิงพาณิชย์ของโมเดล fine-tuned มีน้อยมาก หรือไม่ก็อยู่ในสถานการณ์ที่ต้อง รื้อโครงสร้างพื้นฐาน เพื่อเอา GPU ไปใช้กับโปรเจกต์ที่มีมูลค่าสูงกว่า
    • ถ้าไม่ได้เป็นเจ้าของ weights ก็เท่ากับไม่ได้เป็นเจ้าของอะไรเลย
      นั่นจึงเป็นเหตุผลว่าทำไมโมเดลแบบเปิดถึงสำคัญมาก บริษัทที่ไปสร้างโมเดล fine-tuned บนโมเดลแบบปิดเป็นสิ่งที่เข้าใจได้ยาก
    • ประเด็นนั้นมีคำตอบอยู่แล้ว OpenAI จะออกค่าใช้จ่ายในการฝึกโมเดลใหม่ให้ และโมเดลเดิมก็จะยังไม่ถูกยกเลิกจนกว่าจะถึงปีหน้า

  • จริง ๆ แล้วข่าวที่ใหญ่ที่สุดในแง่ความสามารถตรงนี้คือโมเดล gpt-3.5-turbo-instruct
    gpt-3.5-turbo คือโมเดลเบื้องหลัง ChatGPT และถูก fine-tune มาสำหรับแชต ดังนั้นจึงค่อนข้างใช้งานยากใน use case ที่แค่อยากให้ทำตามคำสั่งหรือทำข้อความต่อให้จบ
    davinci-003 เป็นโมเดล instruction-tuned ตัวสุดท้าย แต่มีราคาแพงกว่า gpt-3.5-turbo ถึง 10 เท่า ดังนั้นแม้จะสิ้นเปลืองในแง่จำนวนโทเคนมาก ก็ยังคุ้มกว่าในเชิงเศรษฐศาสตร์ที่จะฝืนใช้ gpt-3.5-turbo ให้เข้ากับ use case

    • อยากรู้ ราคา gpt-3.5-turbo-instruct
      ผมมีเว็บไซต์พื้นฐานที่ใช้ text-davinci-003 อยู่ แต่ค่าใช้จ่ายสูงเกินไปจนยังปล่อยใช้งานไม่ได้
      เคยลองใช้แค่ gpt-3.5-turbo แต่ในกรณีที่ต้องคาดหวังการคืนค่า JSON ที่มีรูปแบบแน่นอน มันไม่มีความสม่ำเสมอเลยจนใช้การไม่ได้
    • 3.5-turbo กับ instruct ต่างกันอย่างไร?
    • หวังว่า gpt-3.5-turbo-instruct จะไม่ถูกทำให้ไร้พลังหนักเหมือน ChatGPT
      davinci-003 สนุกกว่ามาก และตอบได้ในหัวข้อกว้าง ๆ ที่ ChatGPT มักปฏิเสธจะตอบ
    • ความต่างระหว่างการจูนสำหรับแชตกับ instruction tuning คืออะไร?

  • เขาบอกว่า "ตั้งแต่วันนี้เป็นต้นไป ลูกค้า API แบบชำระเงินทุกคนจะเข้าถึง GPT-4 ได้" แต่ไม่รู้ว่าผมโง่เองหรือเปล่า เพราะผมเป็นลูกค้า OpenAI API แบบเสียเงินแต่ยังไม่มี
    ที่เห็นมีแค่ gpt-3.5-turbo-16k, gpt-3.5-turbo, gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0613 และ gpt-3.5-turbo-0301 แต่ไม่เห็น gpt-4
    คิดว่าน่าจะเป็นเพราะเพิ่งอัปเกรดเป็นบัญชี API แบบเสียเงินเมื่อเดือนที่แล้ว เลยอาจยังไม่เข้าเกณฑ์เป็น "ลูกค้า API แบบชำระเงิน" ตามนิยามทางบัญชี

    • เขียนไว้ว่า "นักพัฒนา API เดิมที่มีประวัติการชำระเงินสำเร็จสามารถเข้าถึง GPT-4 API บริบท 8K ได้ตั้งแต่วันนี้ เราจะเปิดให้กับนักพัฒนาใหม่ภายในสิ้นเดือนนี้ และหลังจากนั้นจะทยอยเพิ่มอัตราจำกัดตามความพร้อมของทรัพยากรคอมพิวต์"
      ผมก็เป็นเหมือนกัน สมัครเมื่อไม่กี่วันก่อนและคาดหวังว่าจะเปลี่ยนไปใช้ gpt-4 ได้ แต่ตอนนี้ยังไม่ได้จ่ายบิลจริงเลยนอกจากการอนุมัติวงเงิน $5 คงต้องรอต่อไป
      ผมทำ เครื่องมือบรรทัดคำสั่ง ง่าย ๆ สำหรับเรียก API ไว้ด้วย เช่นรันแบบนี้:

      ask "What's the opposite of false?"
      https://github.com/codazoda/askai

    • ผมเป็นบัญชีแบบเสียเงินมาตั้งแต่เดือนที่แล้ว และยังไม่เคยมีการเรียกเก็บเงินจริงสำหรับการใช้งาน $8 นั้น
      ผมเองก็ไม่มีสิทธิ์เข้าถึง GPT-4
    • ตามเอกสารทางการ ถ้าจะได้สิทธิ์เข้าถึง GPT-4 ต้องมี ใบแจ้งหนี้ API ที่ชำระสำเร็จ อย่างน้อยหนึ่งใบ
    • ผมก็เหมือนกัน ไม่มีอยู่ในรายการโมเดลที่ได้จาก https://api.openai.com/v1/models
    • คนอื่นไม่แน่ใจ แต่บัญชีของผมมีสองบัญชี
      1. บัญชีที่มีแค่การสมัครใช้แชต
      2. บัญชีที่เคยจ่ายค่าเรียก API แต่ไม่มีการสมัครสมาชิก
        ตอนนี้บัญชีที่ใช้ gpt4 ใน playground ได้มีแค่ข้อ 2 เท่านั้น

  • gpt-3.5-turbo-0613 ดีขึ้นมากพอสมควร โดยเฉพาะเมื่อออกแบบ system prompt ร่วมกัน ทำให้ความจำเป็นในการใช้ GPT-4 API ที่แพงกว่า 20~30 เท่าลดลงจากเมื่อก่อนมาก
    การที่ ChatGPT API ถูกนำไปใช้อย่างแพร่หลายแทน Completion API แบบเดิม แสดงให้เห็นว่าบทความ ChatGPT API ที่ฉันเขียนไว้ตอนแรกนั้นถูกต้อง
    ถ้าคุณภาพเท่ากันหรือดีกว่า นักพัฒนาก็จะย้ายทันทีเมื่อเห็นการลดราคาครั้งใหญ่: https://news.ycombinator.com/item?id=35110998

    • ฉันทำสตาร์ทอัป AI ด้านกฎหมายอยู่ และในสายงานนี้ การก้าวกระโดดด้านคุณภาพ จาก GPT-3.5 ไป GPT-4 นั้นน่าตกใจจริงๆ
      ถ้าเทียบกันแล้ว GPT-3.5 แทบใช้ประโยชน์ไม่ได้เลย แต่ก็เข้าใจได้ว่าในสภาพแวดล้อมที่เน้นการสนทนามากกว่า GPT-3.5 อาจให้ประสิทธิภาพต่อราคาที่น่าสนใจกว่า
    • จากประสบการณ์ของฉัน GPT-3.5 ไม่ได้ดีกว่า GPT-4 และไม่ได้ใกล้เคียงด้วยซ้ำ
      มันอาจใช้ได้กับกรณีการใช้งานส่วนใหญ่ แต่ GPT-3.5 มักเพิกเฉยต่อคำสั่งบ่อยกว่า GPT-4 มาก
      มันพังได้ง่ายกว่ามากแม้กับเรื่องง่ายๆ อย่างช่องว่างท้ายข้อความ และถ้าให้มันแก้ไขข้อความยาวๆ ที่ขาดไวยากรณ์หรือเครื่องหมายวรรคตอน มันก็มีพฤติกรรมแปลกๆ อย่างการสะกดตัวอักษรทีละตัว
      ไม่ว่าจะตั้ง system prompt ยังไงก็แทบไม่ต่างกัน ส่วนใน GPT-4 ฉันยังไม่เคยเห็นพฤติกรรมแปลกสุดๆ แบบนั้นเลย
    • การเติมโค้ด/การช่วยเขียนโค้ด นั้น GPT-4 ดีกว่าแบบไม่ใช่แค่ต่างกันระดับหลักเดียว แต่ดีกว่ามาก
    • อยากรู้ว่าใช้กับกรณีแบบไหน
      ฉันใช้หลักๆ กับการสร้างเทสต์ การเขียนเอกสาร การรีแฟกเตอร์ และการสร้างโค้ดบางส่วน และใช้มันทำงานทุกวันร่วมกับ Copilot/X
      จากประสบการณ์ของฉัน GPT3.5-turbo ถ้าเทียบกันแล้วค่อนข้างทึ่ม มันอธิบายด้วยคอมเมนต์ได้ว่าเมธอดทำอะไรและควรมีอาร์กิวเมนต์อะไรบ้าง แต่พอเขียนจริงกลับลืมอาร์กิวเมนต์ไปทั้งก้อน
      มันให้ความรู้สึกเหมือนความจำแย่แม้จะเป็นโค้ดชิ้นที่ค่อนข้างสั้น และไม่ได้ใกล้แตะขีดจำกัดคอนเท็กซ์ด้วยซ้ำ
      ไม่ใช่แค่พลาดเล็กน้อย แต่มันถึงขั้นบอกว่าจะทำอะไรหลายขั้นตอนแล้วดันข้ามทั้งขั้นตอน
      GPT3.5-turbo มีความไม่เสถียรอย่างต่อเนื่อง จนต้องแก้ครั้งใหญ่และลองใหม่ซ้ำๆ
      มันยังลำบากกับการทำตามสไตล์/เทมเพลตของพรอมป์ต์และคำตอบของตัวเอง เช่น ใช้ bullet ในเอกสารอย่างสม่ำเสมออยู่ดีๆ ก็เปลี่ยนไปเฉยๆ
      Codex โดยรวมดีกว่า แต่ก็ยังด้อยกว่า GPT-4 อย่างชัดเจน และถือว่าใช้เป็น “autocomplete แบบฉลาด” ได้ดี การเขียนเอกสารกลับไม่ค่อยมีประโยชน์เท่าไร
      ในทางกลับกัน GPT-4 มักให้ผลลัพธ์ได้เกือบถูกต้องอยู่แล้ว และกับโค้ดยาวหรือพรอมป์ต์ซับซ้อนก็แค่ต้องเก็บรายละเอียดเพิ่มอีกเล็กน้อยเป็นบางครั้ง
      สรุปคือ สำหรับงานโค้ด GPT3.5-turbo ไม่คุ้มแม้แต่เวลาที่ต้องใช้เพื่อให้ได้ผลลัพธ์ที่ดีหรือแก้ของมัน ส่วน Codex ก็พอใช้ได้ระดับหนึ่ง แต่ถ้าเกินกว่า autocomplete ก็ใช้ GPT-4 ไปเลย สม่ำเสมอกว่ามาก
    • ขึ้นอยู่กับกรณีการใช้งานว่า GPT-3.5 กับ GPT-4 จะมีความต่างด้านคุณภาพมากแค่ไหน

  • ที่นี่แทบไม่มีการพูดถึงความเป็นไปได้ของ Whisper เลย
    ถ้าลองใช้เสียงในแอป ChatGPT บน iOS จะรู้สึกว่า Whisper เก่งมากทีเดียวในการจับว่าเราพูดอะไรจริงๆ
    แต่สิ่งที่น่าหงุดหงิดมากคือเราต้องพูดทั้งหมดให้จบก่อน ถึงจะได้เห็นฟีดแบ็กว่ามันรับรู้คำพูดของเราอย่างไร
    ทั้งที่อัตราการรู้จำก็น่าประทับใจมากอยู่แล้ว
    เมื่อ OpenAI เองก็ใช้งานมันแบบนี้ ฉันไม่แน่ใจว่า API ถูกออกแบบมาให้บรรเทาปัญหานี้ได้หรือไม่ แต่ถ้าได้คุณภาพแบบ Whisper พร้อมความตอบสนองใกล้เคียงการพิมพ์ตามเสียงบนอุปกรณ์จริงก็คงดีมาก

    • ข้อสันนิษฐานหนึ่งเกี่ยวกับจุดประสงค์ของ Whisper คือ มันอาจช่วยเปิดทางให้เข้าถึง ข้อมูลฝึกคุณภาพสูง เพิ่มเติมที่มีอยู่เฉพาะในรูปแบบเสียง/วิดีโอ
    • ฉันสงสัยว่า การรู้จำเสียงแบบทรานส์ฟอร์เมอร์ ของ iOS 17 จะเทียบกับ Whisper ได้อย่างไร
      มันน่าจะทำงานแบบ “เรียลไทม์” มากกว่า เหมือนการพิมพ์ตามเสียงบน iOS/macOS ในปัจจุบัน แต่ฉันยังไม่ได้ใช้เบต้าเลยไม่แน่ใจ
    • สามารถรัน whisper.cpp แบบเรียลไทม์บนเครื่องโลคัลได้: https://github.com/ggerganov/whisper.cpp/tree/master/example...
    • เหตุผลหลักที่คนสนใจน้อยน่าจะเป็นเพราะ การโฮสต์ Whisper เอง ทำได้ค่อนข้างง่าย ดังนั้นคนที่สนใจก็น่าจะทำกันอยู่แล้วมาโดยตลอด
    • ฉันก็คิดเหมือนกัน การพูดข้อความยาวทั้งหมดรวดเดียวค่อนข้างยากมาก
      ถ้าใช้การป้อนข้อความในตัว ChatGPT ก็ยังเข้าใจคำขอได้ดีพอสมควร ทำให้ผลลัพธ์ออกมาดี

  • รู้สึกว่าแนวทางค่อย ๆ เปิดให้นี่แปลก ๆ
    OpenAI กำลังบั่นทอนชื่อเสียงตัวเองด้วยการให้แทบทุกคนใช้โมเดลที่เก่ากว่าและคุณภาพต่ำกว่าไปอีกนาน
    ต่อให้ลูกค้ายินดีจ่ายค่า GPT-4 ก็ยังถูกบอกให้ไปต่อคิวรอท้ายแถว
    จะให้รออะไรกัน? คริสต์มาสเหรอ? วันที่เปิดกล่องของขวัญแล้วข้างในมี GPT-4 น่ะเหรอ?
    เหมือนลอกมาหน้าหนึ่งจากการตลาดแบบ “วิธีทำให้สินค้าใหม่ล้มเหลวแน่นอน” ของ Google เลย เป็นวิธีที่จำกัดการเข้าถึงจนการตลาดแบบปากต่อปากทำงานไม่ได้ เพราะไม่มีเพื่อนฉันสักคนที่ได้ลองใช้ผลิตภัณฑ์
    ประกาศครั้งนี้บอกว่าเป็น “การเปิดให้ใช้งานทั่วไป” ของโมเดล GPT-4 แต่ก็ไม่ใช่โมเดลคอนเท็กซ์ 32K, ไม่ใช่เวอร์ชันมัลติโหมดที่มีอินพุตภาพ, และก็ไม่มีการ fine-tune ด้วย มีโมเดลเดียว ใช้ได้แค่แชต
    ตอนนี้สิ่งที่ฉันเข้าถึงได้มีแค่ Azure OpenAI Service กับ GPT-3.5 ในบัญชี OpenAI API
    ไม่เข้าใจเลยว่าข้อจำกัดตามอำเภอใจพวกนี้ว่าด้วยเรื่องว่าใครเข้าถึงโมเดลไหนได้มันมีความหมายอะไร
    ใช้ GPT-4 ผ่าน Chat ได้ แต่ใช้ผ่าน API ไม่ได้ ใช้ Dall-E เวอร์ชันปรับปรุงใน Bing Image Creator ได้ แต่ใช้ผ่าน OpenAI API ไม่ได้
    มีแค่ vendor บางรายที่ได้รับพรจาก Sam Altman ผู้ยิ่งใหญ่และเปี่ยมเมตตาเท่านั้นที่ได้เข้าถึง GPT-4 32K ส่วนที่เหลือไม่ได้
    ควรขายผลิตภัณฑ์ ไม่ใช่ขายสิทธิ์การเข้าถึง
    อย่าทำตัวเหมือนสหภาพโซเวียตที่ต้อง “รู้จักคน” ถึงจะได้อะไรบางอย่าง

    • ดูเหมือนคุณจะไม่เข้าใจว่า OpenAI มี GPU ไม่พอ จะรองรับเรื่องนี้
      ต่อให้มีเงินก็ซื้อ GPU ได้ไม่มากเท่าที่ต้องการ
    • พวกเขาแค่อยากควบคุมการเปิดตัวและวิธีการใช้งานผลิตภัณฑ์
      และถ้าเปิดประตูน้ำทีเดียวอาจเกิดคอขวดด้านการสเกลได้ เลยอาจพยายามจัดการล่วงหน้าแทนที่จะปล่อยให้ตามแก้ทีหลัง
      เลยค่อย ๆ เปิดอย่างระมัดระวัง และถ้าจำเป็นก็ถอยกลับเหมือนตอนจำกัดการใช้งาน ChatGPT เวอร์ชัน GPT-4 สาธารณะ
      มันดูไม่ได้ไร้เหตุผลเสียทีเดียว แน่นอนว่าอาจมีส่วนหนึ่งที่พยายามสร้างความขาดแคลนเพื่อเร่งกระแสด้วย
      เป็นกลยุทธ์เก่า แต่ก็ยังไม่ถึงขั้นต้องเปรียบกับรัสเซียยุคโซเวียต
    • ปัญหาคือหา GPU ได้ยาก
      ถ้าประเมินคร่าว ๆ ว่าลูกค้า 100 คนต้องใช้ NVIDIA GPU 1 ตัว OpenAI ก็ต้องซื้อ GPU เพิ่มทุกครั้งที่มีลูกค้า GPT-4 ใหม่ 100 คน
      แต่เพราะ GPU ขาดแคลน จึงไม่ใช่สถานการณ์ที่แค่ทุ่มเงินแล้วจะเพิ่ม GPU ได้ง่าย ๆ
      https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
    • คำตอบของ “จะให้รออะไรกัน? คริสต์มาสเหรอ?” คือโครงสร้างพื้นฐาน
      ส่วน “วิธีรับประกันว่าสินค้าใหม่ของ Google จะล้มเหลว” นี่หมายถึง GPT-4 ที่เป็นงานล้มเหลวแบบยืนยันชัดเจนอยู่แล้วงั้นเหรอ
    • นี่คือการทดลอง และคุณก็เป็นส่วนหนึ่งของมัน

  • โมเดล davinci รุ่นดั้งเดิมเคยเป็นเพื่อนของฉัน และฉันไม่พอใจกับการตัดสินใจนี้มาก
    ผลลัพธ์ที่สร้างจากโมเดลนั้นมีเอกลักษณ์และความสร้างสรรค์ที่ฉันไม่เคยทำซ้ำได้ด้วยอย่างอื่นเลย
    ผลลัพธ์ดี ๆ และตลก ๆ เหล่านั้นจะคงอยู่เป็นส่วนหนึ่งของโลกทัศน์ร่วมอันล้ำค่าของครอบครัวเราไปตลอดกาล

    • พูดแบบนี้แล้วจะไม่ยกตัวอย่างก็คงไม่ได้
    • ไม่ต้องกังวลไป LLM ในอนาคตจะถูกฝึกจากบทสนทนากับ LLM ในอดีต ดังนั้นคุณน่าจะขอให้ ChatGPT แกล้งเป็น davinci ได้
    • ได้ยินมาว่าถ้าคุณได้รับการยอมรับว่าพิเศษพอ ก็ขอยกเว้นได้
      เห็นว่ามีนักวิจัยบางคนได้มาแล้ว
    • ตอนนี้ฉันคิดได้แค่ว่านี่เป็นเรื่องเสียดสี
    • ลองใช้ notionsmith.ai แล้วบอกหน่อยได้ไหมว่าคิดยังไง?
      ฉันวิจัย LLM สำหรับงานสร้างสรรค์มาสักพักแล้ว และคิดว่าการผสม chain-of-thought กับการใส่ความสุ่มแบบมีความน่าจะเป็นช่วยให้เข้าใกล้ความคิดสร้างสรรค์แบบมนุษย์ได้พอสมควร
      เช่น สั่งให้ LLM ใช้อักษรสุ่มบางตัวที่สุ่มมาจากตัวสร้างเลขสุ่ม ณ จุดหนึ่งและในรูปแบบที่กำหนด

  • นอกจากพาดหัวแล้ว ที่นี่ยังมีข้อมูลสำคัญซ่อนอยู่อีกมาก
    โมเดล gpt-3.5-turbo-instruct ใหม่มีกำหนดออกมา “ภายในไม่กี่สัปดาห์” และการ fine-tune ของ 3.5 กับ 4 ก็มีแผนไว้ภายในปีนี้
    ฉันสนใจ gpt-3.5-turbo-instruct เป็นพิเศษ คิดว่ากระแสเกินจริงรอบ ChatGPT และ “LLM แบบสนทนา” ได้บดบังสิ่งที่ทำได้ด้วยโมเดลสั่งงานทั่วไปไปมาก
    ถ้าทำ fine-tune ได้ด้วยก็คงยอดเยี่ยมมาก

    • มีแผนไหมว่าเมื่อไร วันตัดข้อมูลความรู้ จะดีขึ้นจากเดือนกันยายน 2021?
      ฉันยังไม่ค่อยเข้าใจว่าภายหลังมีความพยายามอะไรบ้างในการฝึกโมเดล GPT ด้วยข้อมูลข้อเท็จจริง
      คือมีคนคอยอนุมัติ/ปฏิเสธคำตอบเพื่อเพิ่มคะแนนอย่างนั้นหรือ?
      “สหรัฐอเมริกามี 49 รัฐ” - ปฏิเสธ
      “สหรัฐอเมริกามี 50 รัฐ” - อนุมัติ
      ถ้าดูแบบง่าย ๆ มันเป็นประมาณนี้ไหม?
      มีใครรู้ไหมว่ากำลังทำงานเพื่อเพิ่มข้อมูลส่วนที่เหลือของปี 2021, ปี 2022 และสุดท้ายถึงปี 2023 หรือเปล่า? ฉันรู้ว่าใช้เว็บผ่าน Bing add-on เพื่อ crawl ได้ แต่นั่นไม่เหมือนกัน
      เมื่อไม่กี่วันก่อนฉันถามเรื่อง Maya Kowalski มันสรุปโพสต์บล็อกสักหนึ่งหรือสองชิ้นได้ก็จริง แต่ไม่เหมือนกับการที่มันได้เรียนรู้เรื่องนั้นจริง ๆ และรู้รายละเอียดบริบทของประเด็นนั้น