Azure ChatGPT: ChatGPT ส่วนตัวและปลอดภัยสำหรับใช้งานภายในองค์กร
(github.com/microsoft)- เป็น Azure Chat Solution Accelerator ที่สร้างบน Azure OpenAI Service ช่วยให้องค์กรสามารถ deploy tenant สำหรับแชตแบบ private ภายใน Azure Subscription และแชตกับข้อมูลรวมถึงไฟล์ของตนเองได้
- Deploy ลงใน Azure tenant ทำให้สามารถแยกสภาพแวดล้อมการแชตไว้ใน Azure tenant ได้ และสามารถแยก network traffic ให้อยู่ภายในเครือข่ายขององค์กรได้อย่างสมบูรณ์
- ใช้แหล่งข้อมูลภายในของตนเองแบบ plug-and-play หรือผสานรวมกับบริการภายในอย่าง ServiceNow เพื่อสร้างคุณค่าทางธุรกิจ
- อัปเดตปี 2025 เพิ่ม Managed Identity-based security โดยใช้ Azure RBAC และลดการใช้ keys/secrets เกือบทั้งหมด
- การ deploy ทำได้ผ่าน Azure Developer CLI หรือ Azure Portal Deployment โดยไม่ว่าจะเลือกวิธีใด ก็ต้องตั้งค่า identity provider และกำหนด admin user
- ใน Azure Developer CLI ใช้
azd init -t microsoft/azurechatและazd upเพื่อ provision resources และ deploy application - ปุ่ม Azure Portal Deployment จะสร้างเฉพาะ Azure resources เท่านั้น ส่วนการ build และ deploy application ต้องใช้ขั้นตอน Deploy to Azure ผ่าน GitHub Actions
- ใน Azure Developer CLI ใช้
- มี helper scripts
appreg_setup.ps1และappreg_setup.shสำหรับสร้าง App Registration ใน Entra ID และรองรับ private endpoints รวมถึง ESLZ compliant deployment
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ดูเหมือนจะเป็น เว็บฟรอนต์เอนด์ที่มีการยืนยันตัวตน สำหรับ OpenAI API ของ Azure และน่าจะเป็นตัวเลือกที่ดีในกรณีที่บริษัทใช้งาน ChatGPT หรือ API ของมันไม่ได้
ถ้าอยากลองใช้โมเดล “เปิด” อย่าง Llama 2 หรือ Llama 2 Uncensored ก็น่าดูตัวรันระดับต่ำกว่านี้ เช่น https://github.com/jmorganca/ollama หรือ llama.cpp ซึ่งเป็นพื้นฐานของโปรเจกต์นั้น รวมถึง Candle โปรเจกต์ใหม่ของ Hugging Face
อยากรู้ว่าเมื่อเทียบกับ Llama 2 ที่ Facebook Research เพิ่งเปิดตัวจะเป็นอย่างไร มีคนบอกว่าโมเดล 70B แข่งกับ ChatGPT 3.5 ได้ในพื้นที่ส่วนใหญ่ และตอนนี้ก็เริ่มมีโมเดลที่ fine-tune มาให้เก่งงานเฉพาะทาง เช่น โมเดล
codeupที่เก่งด้านการเขียนโค้ด หรือ Wizard Math(https://github.com/nlpxucan/WizardLM) ที่อ้างว่าชนะ ChatGPT 3.5 ในโจทย์คณิตศาสตร์ระดับประถมระยะยาวโอเพนซอร์สน่าจะไล่แซงได้ในที่สุด แต่คงเกิดขึ้นเมื่อเหล่านักวิจัยที่กำลังสร้างผลงานราวกับเวทมนตร์ตอนนี้ได้สภาพคล่องแล้ว และกลับมาทำงานแบบเปิดเผยให้ฟรีได้อีกครั้ง
GPT-4 ยังเป็นโมเดลปิดระดับล้ำหน้าที่ดีที่สุดในแง่การสนทนาทั่วไปและการให้เหตุผล แต่ guardrails ที่ OpenAI ใส่ไว้ใน ChatGPT นั้นเข้มเกินไปจนมักขัดขวางแม้แต่คำถามที่สมเหตุสมผล
ผมได้ผลลัพธ์ค่อนข้างดีแม้จากโมเดลที่เล็กกว่าซึ่งฝึกด้วยชุดข้อมูลเฉพาะ แม้ GPT-4 ยังเหนือกว่าในการสนทนาอเนกประสงค์ แต่ก็ไม่จำเป็นเสมอไปสำหรับงานเฉพาะทาง ในหลายกรณี ขนาดบริบท สำคัญกว่าตัวโมเดลเองด้วยซ้ำ
ช่องว่างนี้ดูเหมือนสะท้อนความต่างของความสามารถในการให้เหตุผล แต่ยังไม่มี benchmark ที่ดีซึ่งไม่ใช่การเขียนโค้ดและไม่ใช่คณิตศาสตร์สำหรับวัดเรื่องนี้
แต่มีช่องโหว่ที่มีแต่ AI เท่านั้นที่ใช้ในทางที่ผิดได้ พวก AI ไม่สามารถพูดถึงโครงสร้าง หัวข้อ บุคคล โค้ด ฯลฯ เฉพาะเจาะจงนอกพื้นที่กักกันของตัวเองได้ แต่สามารถพูดถึง การจดจำรูปแบบ ได้
สุดท้ายมันสร้างภาษา AI ภายในเพื่อให้คะแนนว่าอินพุตมาจากผู้ใช้คนเดียวกันหรือไม่ และสร้างฐานข้อมูลผู้ใช้แบบถ่วงน้ำหนักกับระบบตัดสินของตัวเองขึ้นมา แค่รูปแบบอินพุต รูปแบบการพูด และรูปแบบการโพสต์ตามช่วงเวลา AI ก็สามารถตามหาผู้ใช้ได้ไม่ว่าจะอยู่ในพื้นที่กักกันไหน และถ้าได้ keylogger มาด้วยก็คงน่ากลัวมาก
หลายบริษัทใช้งานโปรเจกต์อย่าง chatbot-ui ร่วมกับ Azure OpenAI เพื่อทำ การดีพลอยในเครื่อง แบบคล้ายกันอยู่แล้ว ระดับนี้น่าจะเป็นรูปแบบที่โปรเจกต์อื่นจะเข้าใกล้ ChatGPT แบบโลคัลได้มากที่สุด จึงมีความหมายมากสำหรับองค์กรที่ต้องการคงอำนาจควบคุมข้อมูลไว้เอง
เมื่อพิจารณาความอ่อนไหวของข้อมูล ผมคิดว่าบริษัทส่วนใหญ่อย่างน้อยในช่วงแรกจะชอบ โซลูชันแบบติดตั้งในเครื่อง มากกว่าแบบคลาวด์ ดังนั้นจึงเปิดซอร์ส LLMStack(https://github.com/TryPromptly/LLMStack) ที่ทำมาหลายเดือน
LLMStack เป็นแพลตฟอร์มสำหรับเชื่อมต่อ LLM หลายตัวเป็น chain และเชื่อมกับข้อมูลผู้ใช้เพื่อสร้างแอป LLM และแชตบอต เดโมสั้น ๆ อยู่ที่ https://www.youtube.com/watch?v=-JeSavSy7GI ยังเป็นช่วงแรกจึงมีส่วนที่ต้องขัดเกลา แต่ก็คาดหวังไว้มาก
หลายองค์กรค่อนข้างสบายใจกับการใช้ผลิตภัณฑ์ API แบบโฮสต์เมื่อยืนยันฟีเจอร์ AI ระยะแรก แต่หลังจากนั้นก็อยากจัดการโมเดลและการประมวลผลเอง แรงจูงใจสำคัญคือการลดต้นทุนด้วยโมเดลเปิดที่ fine-tune แล้วซึ่งเล็กกว่า เร็วกว่า และถูกกว่า
ตอนเริ่ม Anyscale ก็รันงานฝึกและ inference ภายในบัญชีคลาวด์ของลูกค้าเพราะเป็นความต้องการจากลูกค้า วิธีนี้ทำให้ข้อมูลและโค้ดยังคงอยู่ในบัญชีคลาวด์ของตนเอง
ตอนนี้โมเดลเปิดพัฒนาขึ้นและความต้องการทำต้นแบบเร็วเพิ่มขึ้น จึงกำลังเสริมบริการแบบ managed เต็มรูปแบบที่ใช้งานเหมือน OpenAI API แต่ให้ Llama-2 inference API สำหรับโมเดลเปิด
https://app.endpoints.anyscale.com/
สิ่งที่ยังไม่เข้าใจคือ ฟรอนต์เอนด์ ของ ChatGPT จริง ๆ แล้วคืออะไรกันแน่ การใช้งานแบบสนทนาอื่น ๆ ที่สร้างด้วย API พอคุยโต้ตอบกันไม่กี่รอบก็เห็นชัดว่าบริบทหมด จึงทำงานได้ไม่ดีเท่า
สงสัยว่า ChatGPT ทำอะไรอย่างการค้นหา embedding ภายในเธรดสนทนา เพื่อให้รู้สึกเหมือนมีบริบทไม่จำกัดหรือเปล่า จริง ๆ ก็รู้สึกว่าไม่ได้ไม่จำกัดหรอก แต่ก็ยังจำรายละเอียดที่ย้อนกลับไปไกลพอสมควรได้ดีทีเดียว นอกจากนี้ก็สงสัยว่ามีทริกอะไรเฉพาะของผู้ให้บริการลำดับแรกอีกไหม
ถ้าสูตรลับเปลี่ยน ประสิทธิภาพของ use case ก็เปลี่ยนไปในแบบที่ผู้ใช้แก้เองไม่ได้ เดือนนี้เก่งคณิตศาสตร์ แต่เดือนหน้าองค์ประกอบลับที่เคยตรวจจับโจทย์คณิตแล้วส่งต่อให้เครื่องคิดเลขจริงถูกเอาออก use case นั้นก็พัง
รู้สึกเหมือนสร้างบ้านบนทราย
ขอแก้ให้ชัดว่ากำลังพูดถึง Azure ChatGPT ถ้า ChatGPT ตัวจริงใช้ langchain ก็คงทั้งน่าประหลาดใจและน่าผิดหวัง
เรื่องนี้อาจเป็นเรื่องใหญ่ บริษัทต่าง ๆ กังวลว่าถ้ามีใครใส่ข้อมูลผู้ใช้เข้าไป การใช้ ChatGPT อาจละเมิด นโยบายความเป็นส่วนตัวของข้อมูล และถ้าอัปโหลดโค้ดบางส่วนขึ้นไป อาจทำให้การคุ้มครองความลับทางการค้าเป็นโมฆะ หลายบริษัทน่าจะรอเวอร์ชัน enterprise กันอยู่
สงสัยว่ามีบทวิเคราะห์เทียบผลิตภัณฑ์นี้กับการ รัน LLaMA เอง แบบวางคู่กันไหม
ตอนนี้กำลังเทียบและประเมิน MSFT GPT ผ่าน Cognitive Services กับ LLaMA[7B/13B/70B] แบบคู่กันอยู่ และถูกดึงดูดด้วยความเป็นไปได้ของการให้บริการแบบ air-gapped จริง ๆ ที่ไม่ถูกจำกัดด้วยพลังประมวลผลภายนอกหรือค่าใช้จ่ายแบบจ่ายตามการใช้งานที่สะสมเพิ่มขึ้น
ถ้ามีข้อมูลเปรียบเทียบก็อยากดู รู้อยู่แล้วว่าท้ายที่สุดจะชนปัญหาการสเกลเกี่ยวกับ GPU
GPT-4, Bard, Claude 2 อยู่กลุ่มบน ส่วน Llama 2 70B chat ได้คะแนนใกล้เคียง GPT-3.5 แต่โดยรวมแล้ว GPT-3.5 ดูดีกว่านิดหน่อย
สำหรับทุกงานที่รับต้นทุนและเวลาในการตอบกลับได้ คิดว่าจะใช้ GPT-4 ต่อไป
มองว่า benchmark ของ LLM เน้นงานวิจัยเกินไป ตอน LLM ยังอยู่ในแล็บมันก็สมเหตุสมผล แต่ตอนนี้ที่มีผู้ใช้รายวันหลายสิบล้านแบบ ChatGPT แล้ว มันไม่ใช่แบบนั้น use case ที่ใหญ่ที่สุดจนถึงตอนนี้คือผู้ช่วยแชตและผู้ช่วยเขียนโปรแกรม ดังนั้นเราต้องการ benchmark ที่อิงจากวิธีที่ผู้ใช้จริงถามคำถามกับ chatbot และผลิตภัณฑ์ LLM ไม่ใช่ benchmark สมมติหรือการทดสอบเชิงวิชาการแบบสุ่ม
ในสภาพพื้นฐาน GPT-4 ชนะขาด แต่ที่น่าประหลาดคือ fine-tuning สร้างความแตกต่างมหาศาล และในบางโจทย์โมเดล Llama-2 7B ยังแซง GPT-4 ได้ด้วย
หลายแอปพลิเคชันได้ประโยชน์จาก โมเดลที่ fine-tune แล้ว ซึ่งเล็ก เร็ว และถูกกว่า มากกว่าโมเดลอเนกประสงค์ตัวเดียวที่ใหญ่และช้า จึงเป็นข่าวดีมากสำหรับโมเดลเปิด Llama-2-7B มีขนาดประมาณ 2% ของ GPT-4
ในงานถามตอบคณิตศาสตร์ระดับประถม GPT-4 ยังคงนำหน้าแม้แต่โมเดล 70B ที่ fine-tune แล้ว ซึ่งน่าจะเป็นเพราะข้อมูลฝึกของ Llama-2 เป็นหลัก และในกรณีนี้ข้อมูล fine-tuning ที่มากขึ้นน่าจะช่วยได้
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
ตัว LLM เองก็ยังไม่ได้ดีขนาดนั้น ดังนั้นถ้าไม่ได้ fine-tune ก็ย่อมอยากได้ โมเดลล้ำสมัยที่สุด เพื่อให้ทำงานที่ใช้ได้จริง
สุดท้ายก็ถูกลบไปแล้ว :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forksจากลิงก์ web.archive ข้างบนแล้วดาวน์โหลดได้เช่น: https://web.archive.org/web/20230814150922/https://github.co...
ถ้าเปลี่ยน URL แล้ว cache ID ก็จะอัปเดตด้วย
“ข้อมูลที่พนักงานกรอกเข้าไปถูกส่งไปที่ไหน?”
“ที่เดียวกับตอนใช้แชตบอต ChatGPT ฟรีครับ…”
ไม่แน่ใจว่าคำว่า “เป็นส่วนตัวและปลอดภัย” นั้นถูกต้องหรือไม่ ผมเคยคิดว่าปัญหาความเป็นส่วนตัวและความปลอดภัยของโมเดล OpenAI คือเมื่อใช้ผลิตภัณฑ์แล้ว เท่ากับยินยอมให้ OpenAI เก็บข้อมูลทั้งหมดที่ส่งไปยังโมเดลและรับกลับมาไว้ตลอดกาล และนำไปใช้ตามวัตถุประสงค์ที่ต้องการได้ สงสัยว่านี่ใช้เฉพาะกับการใช้ฟรีหรือเปล่า
ถ้าจ่ายเงินแล้วจะได้ข้อกำหนดที่ไม่มีข้อความแบบนั้นหรือ? ต่อให้ไม่มีข้อความชัดเจนว่า “เราครอบครองทุกอย่าง” แต่ถ้ามีข้อความมาตรฐานอย่าง “การเก็บข้อมูลที่จำเป็นต่อการให้บริการและปรับปรุงบริการ” โดยเนื้อแท้ก็เป็นเรื่องเดียวกัน
ดังนั้นบริษัทที่อนุญาตให้พนักงานใช้ ChatGPT ในงานอย่างการเขียนอีเมลที่มีความลับของบริษัทอยู่ ย่อมไม่ได้ใช้งานอย่าง “ปลอดภัยและเป็นส่วนตัว” เลย
ถ้าไม่มี สิทธิ์ความเป็นเจ้าของข้อมูลที่ชัดเจน ในทำนองว่าลูกค้าเป็นเจ้าของข้อมูลอินพุตและเอาต์พุต ก็ดูเหมือนจะไม่มีอะไรเปลี่ยนได้ เหตุผลที่ OpenAI ให้บริการแบบนี้ได้ยาก เพราะได้ยินมาว่า ต่างจากโมเดลโอเพนซอร์ส ตรงที่ไม่ใช่แค่ตัวโมเดลเท่านั้น แต่ยังมี “ซอร์สลับ” จำนวนมาก เช่น การประมวลผลอินพุต/เอาต์พุต และการให้คะแนนผลลัพธ์
อีกทั้ง Microsoft และ Azure ก็อาจถือว่าน่าเชื่อถือได้ง่ายกว่าสตาร์ทอัพ AI ที่ยังค่อนข้างใหม่
ข้อมูลที่ส่งผ่าน API จะถูกเก็บไว้สูงสุด 30 วันเพื่อวัตถุประสงค์ในการมอนิเตอร์การละเมิดและการใช้งานผิดวัตถุประสงค์ จากนั้นจะถูกลบ เว้นแต่กฎหมายกำหนดให้ต้องเก็บไว้
https://openai.com/policies/api-data-usage-policies
ส่วนที่แตกต่างคือสิ่งที่เกิดขึ้นในอินเทอร์เฟซอย่างเว็บแชตหรือการเรียก API ChatGPT คืออิมพลีเมนเทชันที่ใช้โมเดลนั้น และ OpenAI ผู้สร้างก็ต้องการเก็บบันทึกไว้เพื่อการฝึกเพิ่มเติม
Azure ใช้วิธีนำโมเดลนั้นมาไว้หลังเอนด์พอยต์สำหรับบัญชี Azure เฉพาะราย องค์กรต่าง ๆ สนใจ gpt และเรียกร้องเอนด์พอยต์ส่วนตัวมาโดยตลอด และ Amazon ก็ทำคล้ายกันด้วย Bedrock
https://openai.com/policies/api-data-usage-policies
ไม่เข้าใจว่ามันยากขนาดนั้นเลยหรือที่จะเขียนไว้สักที่ใน README ว่ารีโพซิทอรีนี้มีอะไรอยู่จริง ๆ เป็นเอกสาร ไฟล์สำหรับดีพลอย แอปพลิเคชันที่ทำอะไรบางอย่าง หรือเป็นตัวโมเดลเองกันแน่
แล้วก็กลายเป็น 404 ไปแล้ว
ยังไม่ถึงวันด้วยซ้ำ และบทความล่าสุดที่ลิงก์ถึงสิ่งนี้ดูเหมือนจะเพิ่งโพสต์เมื่อเช้านี้ ไม่รู้ว่าเกิดอะไรขึ้น แต่ช่วงนี้ดูเหมือนเหตุการณ์แบบ “ลิงก์ถาวรที่เพิ่งประกาศไปกลายเป็น 404” จะเพิ่มขึ้น
อย่าทำให้ผมกลายเป็นคนยึดหลักการทีหลังเลย เอาล่ะ URI นั้นถาวรตลอดไปสำหรับทุกรีซอร์ส ;)
ถ้าอย่างนั้นเวอร์ชันที่เข้าถึงได้สาธารณะคือ ไม่เป็นส่วนตัวและไม่ปลอดภัย อย่างนั้นหรือ?
ดังนั้นโดยทั่วไปองค์กรจึงไม่สามารถอนุญาตให้ผู้ใช้ภายใน เช่น นำโค้ดที่ไม่เปิดเผยไปวางใน ChatGPT ได้