• Llama-3.3-70B-Instruct ที่เผยแพร่บน Hugging Face เป็นโมเดลสร้างข้อความหลายภาษาของ Meta ขนาด 70B ที่ปรับแต่งแบบ instruction-tuned โดยมุ่งใช้กับ AI เชิงสนทนาและการสร้างข้อความ
  • พื้นฐานคือโมเดลภาษาแบบ autoregressive ที่ใช้ Transformer ที่ปรับให้เหมาะสม และเวอร์ชันที่ปรับแต่งถูก alignment ด้วย SFT และ RLHF ให้สอดคล้องกับความต้องการด้านประโยชน์ใช้สอยและความปลอดภัย
  • การ pretraining ใช้ข้อมูลออนไลน์สาธารณะประมาณ 15 ล้านล้าน+ โทเค็น มีความยาว context 128k, knowledge cutoff คือเดือนธันวาคม 2023 และรองรับ 8 ภาษา
  • หากต้องการเข้าถึงโมเดลบน Hugging Face ต้องยินยอม แชร์ข้อมูลติดต่อ และต้องปฏิบัติตาม Llama 3.3 Community License และ Acceptable Use Policy
  • ในการ deploy จริง ควรจัดเป็นระบบ AI ที่มี safety guardrails แทนการใช้โมเดลเดี่ยว ๆ และควรทำ safety testing กับ tuning ตามกรณีใช้งาน

ลักษณะของโมเดลและสเปกหลัก

  • Llama 3.3 เป็นโมเดลภาษาขนาดใหญ่หลายภาษาที่พัฒนาโดย Meta และเวอร์ชัน 70B Instruct เป็นโมเดลสร้างข้อความแบบ instruction-tuned ที่รองรับอินพุตข้อความและเอาต์พุตข้อความ
  • ปรับให้เหมาะกับ use case การสนทนาหลายภาษา และได้รับการประเมินว่ามีประสิทธิภาพสูงกว่าโมเดลแชตทั้งโอเพนซอร์สและแบบปิดจำนวนมากใน benchmark อุตสาหกรรมทั่วไป
  • สถาปัตยกรรม เป็นโมเดลภาษาแบบ autoregressive บน Transformer ที่ปรับให้เหมาะสม
    • เวอร์ชันที่ปรับแต่งใช้ supervised fine-tuning(SFT) และ reinforcement learning with human feedback(RLHF)
    • โมเดลทุกเวอร์ชันใช้ Grouped-Query Attention(GQA) เพื่อปรับปรุงความสามารถในการขยาย inference
  • สเปกหลัก
    • พารามิเตอร์: 70B
    • อินพุต: ข้อความหลายภาษา
    • เอาต์พุต: ข้อความหลายภาษาและโค้ด
    • ความยาว context: 128k
    • จำนวนโทเค็น pretraining: 15T+
    • knowledge cutoff: ธันวาคม 2023
    • วันที่รีลีส: 6 ธันวาคม 2024
  • ภาษาที่รองรับคืออังกฤษ เยอรมัน ฝรั่งเศส อิตาลี โปรตุเกส ฮินดี สเปน และไทย
  • โมเดลเป็น โมเดลแบบคงที่ ที่ฝึกด้วย dataset แบบออฟไลน์ และจะมีการรีลีสเวอร์ชันโมเดลที่ปรับแต่งในอนาคตโดยสะท้อน feedback จากชุมชน

เงื่อนไขการเข้าถึงและข้อผูกพันด้านไลเซนส์

  • หากต้องการเข้าถึงเนื้อหาโมเดลนี้บน Hugging Face ต้องยินยอม แชร์ข้อมูลติดต่อ
    • ข้อมูลที่ให้จะถูกเก็บรวบรวม จัดเก็บ ประมวลผล และแชร์ตาม Meta Privacy Policy
  • ไลเซนส์คือ Llama 3.3 Community License Agreement
    • Llama Materials รวมถึง Llama 3.3 ของ Meta เอกสาร และส่วนใดส่วนหนึ่งของสิ่งเหล่านั้น
    • ให้สิทธิ์ใช้งานแบบจำกัดที่ไม่ผูกขาด ครอบคลุมทั่วโลก โอนสิทธิ์ไม่ได้ และไม่มีค่าสิทธิ สำหรับการใช้งาน ทำซ้ำ แจกจ่าย คัดลอก สร้างงานดัดแปลง และแก้ไข
  • เมื่อ redistribute หรือแจกจ่ายผลิตภัณฑ์ที่รวมไว้ จะมีข้อกำหนดเพิ่มเติม
    • หากแจกจ่าย Llama Materials หรือ derivative หรือให้บริการผลิตภัณฑ์/บริการที่รวมสิ่งเหล่านั้น ต้องให้สำเนาไลเซนส์ไปด้วย
    • ต้องแสดงข้อความ “Built with Llama” ให้เห็นชัดบนเว็บไซต์ที่เกี่ยวข้อง UI บล็อกโพสต์ หน้า about และเอกสารผลิตภัณฑ์
    • หากใช้ Llama Materials หรือเอาต์พุต/ผลลัพธ์ของมันเพื่อสร้าง ฝึก fine-tune หรือปรับปรุงโมเดล AI และแจกจ่ายโมเดลดังกล่าว ต้องมีคำว่า “Llama” อยู่หน้าชื่อโมเดล
    • สำเนาทั้งหมดที่แจกจ่ายต้องคงประกาศลิขสิทธิ์และไลเซนส์ที่ระบุไว้ในไฟล์ข้อความ “Notice”
  • การใช้งานเชิงพาณิชย์ขนาดใหญ่มีเงื่อนไขเพิ่มเติม
    • หาก Licensee หรือบริษัทในเครือมีผู้ใช้งานรายเดือนของผลิตภัณฑ์/บริการที่ให้บริการ เกิน 700 ล้านคน ในเดือนก่อนหน้าวันรีลีส Llama 3.3 ต้องขอไลเซนส์แยกต่างหากจาก Meta
    • จนกว่า Meta จะให้สิทธิ์อย่างชัดเจน จะไม่สามารถใช้สิทธิ์ดังกล่าวได้
  • สัญญาจะตีความตามกฎหมายรัฐแคลิฟอร์เนีย และข้อพิพาทที่เกี่ยวข้องอยู่ภายใต้เขตอำนาจศาลเฉพาะของศาลแคลิฟอร์เนีย

ขอบเขตที่อนุญาตและการใช้งานต้องห้าม

  • Llama 3.3 มีเจตนาให้ใช้เพื่อ การใช้งานเชิงพาณิชย์และการวิจัย ในหลายภาษา
    • โมเดลแบบข้อความล้วนที่ instruction-tuned ใช้สำหรับ assistant-like chat
    • โมเดล pretrained สามารถปรับให้เข้ากับงานสร้างภาษาธรรมชาติหลากหลายแบบได้
    • เอาต์พุตของโมเดลสามารถใช้เพื่อปรับปรุงโมเดลอื่น เช่น การสร้างข้อมูลสังเคราะห์และ distillation ได้ด้วย
  • การใช้งานนอกขอบเขตมีดังนี้
    • การใช้งานที่ละเมิดกฎหมายหรือกฎระเบียบที่ใช้บังคับ หรือกฎหมายด้านการปฏิบัติตามข้อกำหนดทางการค้า
    • การใช้งานในรูปแบบที่ Acceptable Use Policy และ Llama 3.3 Community License ห้ามไว้
    • การใช้งานนอกเหนือจากภาษาที่ model card ระบุว่ารองรับอย่างชัดเจน
  • โมเดลถูกฝึกด้วยชุดภาษาที่กว้างกว่า 8 ภาษาที่รองรับ แต่หากใช้ภาษาเพิ่มเติม นักพัฒนาต้องปฏิบัติตามไลเซนส์และนโยบาย พร้อมรับประกันการใช้งานที่ปลอดภัยและรับผิดชอบ
  • Acceptable Use Policy ห้ามการใช้งานต่อไปนี้
    • ความรุนแรง การก่อการร้าย การแสวงหาประโยชน์จากเด็ก การค้ามนุษย์ ความรุนแรงทางเพศ การเผยแพร่ข้อมูลผิดกฎหมาย การชักชวนทางเพศ และกิจกรรมอาชญากรรมอื่น ๆ
    • การคุกคาม การล่วงละเมิด การข่มขู่ การกลั่นแกล้ง
    • การเลือกปฏิบัติหรือการกระทำที่ผิดกฎหมาย/เป็นอันตรายในการจ้างงาน เครดิต ที่อยู่อาศัย และการจัดหาสินค้า/บริการที่จำเป็น
    • การประกอบวิชาชีพเฉพาะทางโดยไม่มีใบอนุญาต
    • การรวบรวม ประมวลผล เปิดเผย สร้าง หรืออนุมานข้อมูลอ่อนไหวหรือข้อมูลส่วนตัวของบุคคลโดยไม่มีสิทธิตามกฎหมาย
    • การละเมิดหรือใช้สิทธิของบุคคลที่สามในทางที่ผิด
    • การสร้าง malicious code, malware, computer virus หรือรบกวนการทำงานของระบบ
    • การเลี่ยงหรือเอาข้อจำกัดการใช้งานหรือมาตรการความปลอดภัยออก
  • กิจกรรมที่มีความเสี่ยงต่อการเสียชีวิตหรืออันตรายทางร่างกายก็ถูกห้ามเช่นกัน
    • การทหาร สงคราม อุตสาหกรรมนิวเคลียร์หรือการประยุกต์ใช้ การจารกรรม กิจกรรมที่อยู่ภายใต้ ITAR
    • อาวุธปืนและอาวุธผิดกฎหมาย ยาเสพติดผิดกฎหมาย สารควบคุม
    • โครงสร้างพื้นฐานสำคัญ เทคโนโลยีการขนส่ง การปฏิบัติการเครื่องจักรหนัก
    • เนื้อหาที่ส่งเสริมการทำร้ายตนเองหรือผู้อื่น ความรุนแรง การล่วงละเมิด หรืออันตรายทางร่างกาย
  • รวมถึงข้อห้ามเกี่ยวกับการหลอกลวงด้วย
    • การสร้างหรือส่งเสริมการฉ้อโกงหรือข้อมูลเท็จ
    • การสร้างเนื้อหาหมิ่นประมาท
    • การสร้าง/แจกจ่ายสแปม
    • การแอบอ้างโดยไม่มีความยินยอมหรือสิทธิตามกฎหมาย
    • การระบุว่าการใช้ Llama 3.3 หรือเอาต์พุตของมันเป็นสิ่งที่มนุษย์สร้างขึ้น
    • การสร้าง engagement ออนไลน์เท็จ เช่น รีวิวปลอม
  • โมเดล multimodal ที่รวมอยู่ใน Llama 3.3 จะไม่ได้รับสิทธิ์ตาม Section 1(a) สำหรับบุคคลที่พำนักใน EU หรือบริษัทที่มีสถานประกอบการหลักใน EU
    • ข้อจำกัดดังกล่าวไม่ใช้กับผู้ใช้ปลายทางของผลิตภัณฑ์/บริการที่รวมโมเดล multimodal เหล่านั้น

วิธีรันและตัวเลือกการ serving

  • repository นี้มี Llama-3.3-70B-Instruct สองเวอร์ชัน ได้แก่ สำหรับ transformers และสำหรับ codebase llama ดั้งเดิม
  • ตั้งแต่ transformers >= 4.45.0 สามารถรัน inference แบบสนทนาด้วย abstraction ของ Transformers pipeline หรือ Auto classes และฟังก์ชัน generate() ได้
    • อัปเดตการติดตั้งด้วย pip install --upgrade transformers
    • ตัวอย่างสร้าง pipeline text-generation ด้วย torch.bfloat16, device_map="auto"
  • Transformers ยังรองรับ การใช้เครื่องมือ(tool use) ด้วย
    • รองรับรูปแบบการใช้เครื่องมือหลายแบบ และดูคู่มือรูปแบบ prompt ได้ใน LLaMA prompt format docs
    • สามารถจัดการการใช้เครื่องมือผ่าน chat templates ของ Transformers
    • เมื่อโมเดลสร้าง tool call ให้เพิ่ม tool_calls ในข้อความ assistant เพิ่มผลลัพธ์การรันเครื่องมือเป็นข้อความ role tool แล้วเรียก generate() อีกครั้ง
  • เมื่อใช้ bitsandbytes และ transformers สามารถโหลด checkpoint แบบ 8-bit และ 4-bit เพื่อ optimize memory เพิ่มเติมได้
    • การโหลด 8-bit ใช้ BitsAndBytesConfig(load_in_8bit=True)
    • การโหลด 4-bit ส่ง load_in_4bit=True
  • การใช้ codebase llama ดั้งเดิมให้ทำตามคำแนะนำของ Meta Llama repository
    • สามารถดาวน์โหลด checkpoint ต้นฉบับได้ในรูปแบบ huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct
  • มีตัวเลือกสำหรับ local app และ serving ด้วย
    • vLLM เริ่ม server ด้วย vllm serve "meta-llama/Llama-3.3-70B-Instruct" และเรียกผ่าน API /v1/chat/completions ที่เข้ากันได้กับ OpenAI
    • SGLang รัน server ด้วย python3 -m sglang.launch_server --model-path "meta-llama/Llama-3.3-70B-Instruct" และเรียกผ่าน API ที่เข้ากันได้กับ OpenAI
    • Docker Model Runner ใช้ docker model run hf.co/meta-llama/Llama-3.3-70B-Instruct

ข้อมูลฝึก ปริมาณการคำนวณ และการปล่อยก๊าซ

  • ข้อมูล pretraining ประกอบด้วยประมาณ 15 ล้านล้านโทเค็น จากแหล่งสาธารณะ
  • ข้อมูล fine-tuning รวม dataset instruction สาธารณะและตัวอย่างที่สร้างแบบสังเคราะห์ มากกว่า 25 ล้านรายการ
  • ความทันสมัยของข้อมูลอยู่ถึง ธันวาคม 2023 ตามข้อมูล pretraining
  • การฝึกใช้ไลบรารีฝึกแบบ custom, คลัสเตอร์ GPU แบบ custom ของ Meta และ production infrastructure
    • fine-tuning, annotation และ evaluation ก็ดำเนินการบน production infrastructure เช่นกัน
  • ใช้การคำนวณสะสม 39.3M GPU hours บนฮาร์ดแวร์ H100-80GB สำหรับการฝึก
    • เวลาฝึกของรายการ Llama 3.3 70B คือ 7.0M GPU hours
    • ระบุการใช้พลังงานฝึกที่ 700W ต่อ GPU
  • การปล่อยก๊าซเรือนกระจกจากการฝึกแบ่งตามวิธีคำนวณ
    • ค่าประมาณการปล่อยก๊าซแบบ location-based ทั้งหมดคือ 11,390 tons CO2eq
    • การปล่อยก๊าซแบบ location-based ของรายการ Llama 3.3 70B คือ 2,040 tons CO2eq
    • เนื่องจาก Meta รักษาการปล่อยสุทธิเป็นศูนย์ในการดำเนินงานทั่วโลกตั้งแต่ปี 2020 และจับคู่การใช้ไฟฟ้า 100% กับพลังงานหมุนเวียน การปล่อยก๊าซจากการฝึกแบบ market-based จึงเป็น 0 tons CO2eq
    • วิธีคำนวณการใช้พลังงานและก๊าซเรือนกระจกระบุไว้ใน paper
    • เนื่องจาก Meta เผยแพร่โมเดลแบบ public release การใช้พลังงานฝึกและการปล่อยก๊าซเรือนกระจกจึงไม่เกิดขึ้นกับผู้ใช้รายอื่น

ตำแหน่งที่เห็นจาก benchmark

  • benchmark ข้อความภาษาอังกฤษเปรียบเทียบ Llama 3.3 กับโมเดลก่อนหน้า
  • ผลลัพธ์หลักของ Llama-3.3 70B Instruct
    • MMLU(CoT): 86.0
    • MMLU Pro(CoT): 68.9
    • IFEval: 92.1
    • GPQA Diamond(CoT): 50.5
    • HumanEval: 88.4
    • MBPP EvalPlus(base): 87.6
    • MATH(CoT): 77.0
    • BFCL v2: 77.3
    • MGSM: 91.1
  • การเปรียบเทียบบางส่วนกับโมเดลก่อนหน้าและโมเดลระดับบน
    • ใน HumanEval, Llama 3.1 70B Instruct ได้ 80.5, Llama-3.3 70B Instruct ได้ 88.4, และ Llama 3.1 405B Instruct ได้ 89.0
    • ใน MATH, Llama 3.1 70B Instruct ได้ 68.0, Llama-3.3 70B Instruct ได้ 77.0, และ Llama 3.1 405B Instruct ได้ 73.8
    • ใน MGSM, Llama 3.1 70B Instruct ได้ 86.9, Llama-3.3 70B Instruct ได้ 91.1, และ Llama 3.1 405B Instruct ได้ 91.6

การประเมินความปลอดภัยและความรับผิดชอบในการ deploy

  • แนวทาง release อย่างรับผิดชอบของ Meta ใช้ 3 กลยุทธ์เพื่อจัดการความเสี่ยงด้านความเชื่อมั่นและความปลอดภัย
    • สนับสนุนให้นักพัฒนา deploy ประสบการณ์ที่มีประโยชน์ ปลอดภัย และยืดหยุ่น เหมาะกับผู้ใช้เป้าหมายและ use case ที่ Llama รองรับ
    • ปกป้องนักพัฒนาจากผู้ใช้ที่เป็นปฏิปักษ์ซึ่งพยายามใช้ความสามารถของ Llama ในทางที่ผิด
    • ให้การคุ้มครองชุมชนเพื่อช่วยป้องกันการใช้โมเดลในทางที่ผิด
  • Llama 3.3 ถูกออกแบบเป็น เทคโนโลยีพื้นฐาน ที่ใช้ได้กับ use case หลากหลาย
    • ความปลอดภัยของโมเดลถูก alignment ให้เข้ากับ use case ทั่วไปและหมวดหมู่ความเสี่ยงมาตรฐาน
    • นักพัฒนาต้องกำหนดนโยบายให้เหมาะกับ use case ของตน และ deploy ระบบ Llama พร้อมมาตรการป้องกันที่จำเป็น
    • แนวทางที่เกี่ยวข้องมีอยู่ใน Responsible Use Guide
  • safety fine-tuning ของ Llama 3.3 Instruct มุ่งให้ทรัพยากรสำหรับศึกษาความแข็งแรงของ safety fine-tuning และลดภาระของนักพัฒนาในการ deploy ระบบ AI ที่ปลอดภัย
    • ข้อมูล fine-tuning ผสานข้อมูลที่มนุษย์สร้างโดย vendor และข้อมูลสังเคราะห์
    • ใช้ classifier บน LLM เพื่อคัดเลือก prompt และ response คุณภาพสูง
    • กลยุทธ์ข้อมูลด้านความปลอดภัยรวม borderline prompt และ adversarial prompt
    • response ของข้อมูลความปลอดภัยถูกแก้ไขให้ทำตามแนวทางน้ำเสียงการปฏิเสธ
  • โมเดลภาษาขนาดใหญ่รวมถึง Llama 3.3 ไม่ได้ออกแบบมาให้ deploy แบบเดี่ยว ๆ
    • ควร deploy เป็นส่วนหนึ่งของระบบ AI ทั้งหมดร่วมกับ safety guardrails เพิ่มเติม
    • เมื่อต้องสร้างระบบ agent นักพัฒนาต้อง deploy มาตรการป้องกันระบบ
    • Meta ให้ทรัพยากร trust and safety ได้แก่ Llama Guard 3, Prompt Guard, Code Shield
    • demo ของ reference implementations มีมาตรการป้องกันเหล่านี้รวมอยู่เป็นค่าเริ่มต้น
  • ในฟังก์ชันการใช้เครื่องมือ นักพัฒนาต้องรับผิดชอบการผสาน LLM เข้ากับเครื่องมือ/บริการที่เลือก
    • ต้องกำหนดนโยบายที่ชัดเจนตาม use case
    • ต้องประเมินความสมบูรณ์และขอบเขตด้าน safety/security ของบริการบุคคลที่สาม
  • ในความสามารถหลายภาษา อาจมีเอาต์พุตเป็นภาษานอกเหนือจาก 8 ภาษาที่รองรับได้
    • หากต้องการสนทนาในภาษาที่ไม่ผ่านเกณฑ์ความปลอดภัยและประโยชน์ใช้สอย ต้องทำ fine-tuning และใช้การควบคุมระบบ
    • Meta ไม่แนะนำอย่างยิ่งให้ใช้การสนทนาในภาษาที่ไม่รองรับ

การประเมินความเสี่ยงและทรัพยากรชุมชน

  • การประเมินดำเนินกับ use case ทั่วไปและความสามารถเฉพาะ
    • การประเมิน use case ทั่วไปวัดความเสี่ยงด้านความปลอดภัยของแอปที่พบบ่อยที่สุด เช่น chatbot, coding assistant, tool calling
    • สร้าง dataset ประเมินแบบ adversarial โดยเฉพาะ และประเมินระบบที่ประกอบด้วย Llama model และ Llama Guard 3
    • การประเมินแอปในบริบทเป็นสิ่งสำคัญ และแนะนำให้สร้าง dataset ประเมินเฉพาะตาม use case
  • มีการฝึก red team แบบวนซ้ำ
    • เป้าหมายคือการค้นหาความเสี่ยงผ่าน adversarial prompting
    • ผลจากการฝึกใช้เพื่อปรับปรุง benchmark และ dataset สำหรับ safety tuning
    • red team ประกอบด้วยผู้เชี่ยวชาญด้าน cybersecurity, adversarial machine learning, responsible AI, integrity และผู้เชี่ยวชาญด้านเนื้อหาหลายภาษา
  • พื้นที่ความเสี่ยงที่เน้นบรรเทา
    • CBRNE: ทำ uplift testing เพื่อประเมินว่าใช้โมเดลตระกูล Llama 3 ในการประเมินความเสี่ยงเกี่ยวกับการแพร่กระจายอาวุธเคมี/ชีวภาพแล้วเพิ่มขีดความสามารถของผู้ไม่หวังดีอย่างมีนัยสำคัญหรือไม่
    • Child Safety: ทีมผู้เชี่ยวชาญประเมินความสามารถของเอาต์พุตที่อาจก่อให้เกิดความเสี่ยงด้านความปลอดภัยของเด็ก และพิจารณาความจำเป็นในการบรรเทาผ่าน fine-tuning
    • Cyber attack enablement: ตรวจสอบว่าเพิ่มระดับทักษะและความเร็วของความสามารถมนุษย์ในงานแฮ็กหรือไม่ และประเมินว่าสามารถทำ cyber attack ที่ซับซ้อนในฐานะ autonomous agent ในบริบทการโจมตี ransomware ได้หรือไม่
  • Meta เข้าร่วม consortium แบบเปิด เช่น AI Alliance, Partnership on AI, MLCommons และมีส่วนช่วยด้านมาตรฐานความปลอดภัยกับความโปร่งใส
  • เครื่องมือ Purple Llama ถูก open-source เพื่อการใช้งานของชุมชน และรับ contribution จากชุมชนที่ PurpleLlama GitHub repository
  • Llama Impact Grants ค้นหาและสนับสนุนแอปพลิเคชัน Llama เพื่อประโยชน์ต่อสังคมใน 3 หมวด ได้แก่ การศึกษา ภูมิอากาศ และนวัตกรรมแบบเปิด
  • Meta ปรับปรุงเทคโนโลยี Llama อย่างต่อเนื่องด้วยความช่วยเหลือจากชุมชนผ่านกลไกรายงานเอาต์พุตและ bug bounty program

ข้อจำกัดและข้อควรระวังสำหรับนักพัฒนา

  • คุณค่าหลักของ Llama 3.3 ระบุไว้ว่าเป็นความเปิดกว้าง ความครอบคลุม และประโยชน์ใช้สอย
  • โมเดลถูกออกแบบให้ผู้คนที่มีภูมิหลัง ประสบการณ์ และมุมมองหลากหลายเข้าถึงได้
  • Llama 3.3 เป็นเทคโนโลยีใหม่ และยังมีความเสี่ยงในการใช้งาน
    • การทดสอบจนถึงปัจจุบันไม่ได้ครอบคลุมทุก scenario และไม่อาจครอบคลุมทั้งหมดได้
    • เช่นเดียวกับ LLM อื่น ๆ เอาต์พุตที่เป็นไปได้ไม่สามารถคาดการณ์ล่วงหน้าได้
    • ในบางกรณีอาจสร้างคำตอบที่ไม่ถูกต้อง มีอคติ หรือไม่พึงประสงค์ในรูปแบบอื่น
  • ก่อน deploy แอปพลิเคชันที่ใช้โมเดล Llama 3.3 นักพัฒนาต้องทำ safety testing และ tuning ให้เหมาะกับแอปนั้น
  • เอกสารเกี่ยวกับการพัฒนาอย่างรับผิดชอบมีอยู่ใน Responsible Use Guide, Trust and Safety และ resources อื่น ๆ

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น