Llama-3.3-70B-Instruct
(huggingface.co)- Llama-3.3-70B-Instruct ที่เผยแพร่บน Hugging Face เป็นโมเดลสร้างข้อความหลายภาษาของ Meta ขนาด 70B ที่ปรับแต่งแบบ instruction-tuned โดยมุ่งใช้กับ AI เชิงสนทนาและการสร้างข้อความ
- พื้นฐานคือโมเดลภาษาแบบ autoregressive ที่ใช้ Transformer ที่ปรับให้เหมาะสม และเวอร์ชันที่ปรับแต่งถูก alignment ด้วย SFT และ RLHF ให้สอดคล้องกับความต้องการด้านประโยชน์ใช้สอยและความปลอดภัย
- การ pretraining ใช้ข้อมูลออนไลน์สาธารณะประมาณ 15 ล้านล้าน+ โทเค็น มีความยาว context 128k, knowledge cutoff คือเดือนธันวาคม 2023 และรองรับ 8 ภาษา
- หากต้องการเข้าถึงโมเดลบน Hugging Face ต้องยินยอม แชร์ข้อมูลติดต่อ และต้องปฏิบัติตาม Llama 3.3 Community License และ Acceptable Use Policy
- ในการ deploy จริง ควรจัดเป็นระบบ AI ที่มี safety guardrails แทนการใช้โมเดลเดี่ยว ๆ และควรทำ safety testing กับ tuning ตามกรณีใช้งาน
ลักษณะของโมเดลและสเปกหลัก
- Llama 3.3 เป็นโมเดลภาษาขนาดใหญ่หลายภาษาที่พัฒนาโดย Meta และเวอร์ชัน
70B Instructเป็นโมเดลสร้างข้อความแบบ instruction-tuned ที่รองรับอินพุตข้อความและเอาต์พุตข้อความ - ปรับให้เหมาะกับ use case การสนทนาหลายภาษา และได้รับการประเมินว่ามีประสิทธิภาพสูงกว่าโมเดลแชตทั้งโอเพนซอร์สและแบบปิดจำนวนมากใน benchmark อุตสาหกรรมทั่วไป
- สถาปัตยกรรม เป็นโมเดลภาษาแบบ autoregressive บน Transformer ที่ปรับให้เหมาะสม
- เวอร์ชันที่ปรับแต่งใช้ supervised fine-tuning(SFT) และ reinforcement learning with human feedback(RLHF)
- โมเดลทุกเวอร์ชันใช้ Grouped-Query Attention(GQA) เพื่อปรับปรุงความสามารถในการขยาย inference
- สเปกหลัก
- พารามิเตอร์: 70B
- อินพุต: ข้อความหลายภาษา
- เอาต์พุต: ข้อความหลายภาษาและโค้ด
- ความยาว context: 128k
- จำนวนโทเค็น pretraining: 15T+
- knowledge cutoff: ธันวาคม 2023
- วันที่รีลีส: 6 ธันวาคม 2024
- ภาษาที่รองรับคืออังกฤษ เยอรมัน ฝรั่งเศส อิตาลี โปรตุเกส ฮินดี สเปน และไทย
- โมเดลเป็น โมเดลแบบคงที่ ที่ฝึกด้วย dataset แบบออฟไลน์ และจะมีการรีลีสเวอร์ชันโมเดลที่ปรับแต่งในอนาคตโดยสะท้อน feedback จากชุมชน
เงื่อนไขการเข้าถึงและข้อผูกพันด้านไลเซนส์
- หากต้องการเข้าถึงเนื้อหาโมเดลนี้บน Hugging Face ต้องยินยอม แชร์ข้อมูลติดต่อ
- ข้อมูลที่ให้จะถูกเก็บรวบรวม จัดเก็บ ประมวลผล และแชร์ตาม Meta Privacy Policy
- ไลเซนส์คือ Llama 3.3 Community License Agreement
- Llama Materials รวมถึง Llama 3.3 ของ Meta เอกสาร และส่วนใดส่วนหนึ่งของสิ่งเหล่านั้น
- ให้สิทธิ์ใช้งานแบบจำกัดที่ไม่ผูกขาด ครอบคลุมทั่วโลก โอนสิทธิ์ไม่ได้ และไม่มีค่าสิทธิ สำหรับการใช้งาน ทำซ้ำ แจกจ่าย คัดลอก สร้างงานดัดแปลง และแก้ไข
- เมื่อ redistribute หรือแจกจ่ายผลิตภัณฑ์ที่รวมไว้ จะมีข้อกำหนดเพิ่มเติม
- หากแจกจ่าย Llama Materials หรือ derivative หรือให้บริการผลิตภัณฑ์/บริการที่รวมสิ่งเหล่านั้น ต้องให้สำเนาไลเซนส์ไปด้วย
- ต้องแสดงข้อความ “Built with Llama” ให้เห็นชัดบนเว็บไซต์ที่เกี่ยวข้อง UI บล็อกโพสต์ หน้า about และเอกสารผลิตภัณฑ์
- หากใช้ Llama Materials หรือเอาต์พุต/ผลลัพธ์ของมันเพื่อสร้าง ฝึก fine-tune หรือปรับปรุงโมเดล AI และแจกจ่ายโมเดลดังกล่าว ต้องมีคำว่า “Llama” อยู่หน้าชื่อโมเดล
- สำเนาทั้งหมดที่แจกจ่ายต้องคงประกาศลิขสิทธิ์และไลเซนส์ที่ระบุไว้ในไฟล์ข้อความ “Notice”
- การใช้งานเชิงพาณิชย์ขนาดใหญ่มีเงื่อนไขเพิ่มเติม
- หาก Licensee หรือบริษัทในเครือมีผู้ใช้งานรายเดือนของผลิตภัณฑ์/บริการที่ให้บริการ เกิน 700 ล้านคน ในเดือนก่อนหน้าวันรีลีส Llama 3.3 ต้องขอไลเซนส์แยกต่างหากจาก Meta
- จนกว่า Meta จะให้สิทธิ์อย่างชัดเจน จะไม่สามารถใช้สิทธิ์ดังกล่าวได้
- สัญญาจะตีความตามกฎหมายรัฐแคลิฟอร์เนีย และข้อพิพาทที่เกี่ยวข้องอยู่ภายใต้เขตอำนาจศาลเฉพาะของศาลแคลิฟอร์เนีย
ขอบเขตที่อนุญาตและการใช้งานต้องห้าม
- Llama 3.3 มีเจตนาให้ใช้เพื่อ การใช้งานเชิงพาณิชย์และการวิจัย ในหลายภาษา
- โมเดลแบบข้อความล้วนที่ instruction-tuned ใช้สำหรับ assistant-like chat
- โมเดล pretrained สามารถปรับให้เข้ากับงานสร้างภาษาธรรมชาติหลากหลายแบบได้
- เอาต์พุตของโมเดลสามารถใช้เพื่อปรับปรุงโมเดลอื่น เช่น การสร้างข้อมูลสังเคราะห์และ distillation ได้ด้วย
- การใช้งานนอกขอบเขตมีดังนี้
- การใช้งานที่ละเมิดกฎหมายหรือกฎระเบียบที่ใช้บังคับ หรือกฎหมายด้านการปฏิบัติตามข้อกำหนดทางการค้า
- การใช้งานในรูปแบบที่ Acceptable Use Policy และ Llama 3.3 Community License ห้ามไว้
- การใช้งานนอกเหนือจากภาษาที่ model card ระบุว่ารองรับอย่างชัดเจน
- โมเดลถูกฝึกด้วยชุดภาษาที่กว้างกว่า 8 ภาษาที่รองรับ แต่หากใช้ภาษาเพิ่มเติม นักพัฒนาต้องปฏิบัติตามไลเซนส์และนโยบาย พร้อมรับประกันการใช้งานที่ปลอดภัยและรับผิดชอบ
- Acceptable Use Policy ห้ามการใช้งานต่อไปนี้
- ความรุนแรง การก่อการร้าย การแสวงหาประโยชน์จากเด็ก การค้ามนุษย์ ความรุนแรงทางเพศ การเผยแพร่ข้อมูลผิดกฎหมาย การชักชวนทางเพศ และกิจกรรมอาชญากรรมอื่น ๆ
- การคุกคาม การล่วงละเมิด การข่มขู่ การกลั่นแกล้ง
- การเลือกปฏิบัติหรือการกระทำที่ผิดกฎหมาย/เป็นอันตรายในการจ้างงาน เครดิต ที่อยู่อาศัย และการจัดหาสินค้า/บริการที่จำเป็น
- การประกอบวิชาชีพเฉพาะทางโดยไม่มีใบอนุญาต
- การรวบรวม ประมวลผล เปิดเผย สร้าง หรืออนุมานข้อมูลอ่อนไหวหรือข้อมูลส่วนตัวของบุคคลโดยไม่มีสิทธิตามกฎหมาย
- การละเมิดหรือใช้สิทธิของบุคคลที่สามในทางที่ผิด
- การสร้าง malicious code, malware, computer virus หรือรบกวนการทำงานของระบบ
- การเลี่ยงหรือเอาข้อจำกัดการใช้งานหรือมาตรการความปลอดภัยออก
- กิจกรรมที่มีความเสี่ยงต่อการเสียชีวิตหรืออันตรายทางร่างกายก็ถูกห้ามเช่นกัน
- การทหาร สงคราม อุตสาหกรรมนิวเคลียร์หรือการประยุกต์ใช้ การจารกรรม กิจกรรมที่อยู่ภายใต้ ITAR
- อาวุธปืนและอาวุธผิดกฎหมาย ยาเสพติดผิดกฎหมาย สารควบคุม
- โครงสร้างพื้นฐานสำคัญ เทคโนโลยีการขนส่ง การปฏิบัติการเครื่องจักรหนัก
- เนื้อหาที่ส่งเสริมการทำร้ายตนเองหรือผู้อื่น ความรุนแรง การล่วงละเมิด หรืออันตรายทางร่างกาย
- รวมถึงข้อห้ามเกี่ยวกับการหลอกลวงด้วย
- การสร้างหรือส่งเสริมการฉ้อโกงหรือข้อมูลเท็จ
- การสร้างเนื้อหาหมิ่นประมาท
- การสร้าง/แจกจ่ายสแปม
- การแอบอ้างโดยไม่มีความยินยอมหรือสิทธิตามกฎหมาย
- การระบุว่าการใช้ Llama 3.3 หรือเอาต์พุตของมันเป็นสิ่งที่มนุษย์สร้างขึ้น
- การสร้าง engagement ออนไลน์เท็จ เช่น รีวิวปลอม
- โมเดล multimodal ที่รวมอยู่ใน Llama 3.3 จะไม่ได้รับสิทธิ์ตาม Section 1(a) สำหรับบุคคลที่พำนักใน EU หรือบริษัทที่มีสถานประกอบการหลักใน EU
- ข้อจำกัดดังกล่าวไม่ใช้กับผู้ใช้ปลายทางของผลิตภัณฑ์/บริการที่รวมโมเดล multimodal เหล่านั้น
วิธีรันและตัวเลือกการ serving
- repository นี้มี Llama-3.3-70B-Instruct สองเวอร์ชัน ได้แก่ สำหรับ
transformersและสำหรับ codebasellamaดั้งเดิม - ตั้งแต่
transformers >= 4.45.0สามารถรัน inference แบบสนทนาด้วย abstraction ของ Transformerspipelineหรือ Auto classes และฟังก์ชันgenerate()ได้- อัปเดตการติดตั้งด้วย
pip install --upgrade transformers - ตัวอย่างสร้าง pipeline
text-generationด้วยtorch.bfloat16,device_map="auto"
- อัปเดตการติดตั้งด้วย
- Transformers ยังรองรับ การใช้เครื่องมือ(tool use) ด้วย
- รองรับรูปแบบการใช้เครื่องมือหลายแบบ และดูคู่มือรูปแบบ prompt ได้ใน LLaMA prompt format docs
- สามารถจัดการการใช้เครื่องมือผ่าน chat templates ของ Transformers
- เมื่อโมเดลสร้าง tool call ให้เพิ่ม
tool_callsในข้อความ assistant เพิ่มผลลัพธ์การรันเครื่องมือเป็นข้อความ roletoolแล้วเรียกgenerate()อีกครั้ง
- เมื่อใช้
bitsandbytesและtransformersสามารถโหลด checkpoint แบบ 8-bit และ 4-bit เพื่อ optimize memory เพิ่มเติมได้- การโหลด 8-bit ใช้
BitsAndBytesConfig(load_in_8bit=True) - การโหลด 4-bit ส่ง
load_in_4bit=True
- การโหลด 8-bit ใช้
- การใช้ codebase
llamaดั้งเดิมให้ทำตามคำแนะนำของ Meta Llama repository- สามารถดาวน์โหลด checkpoint ต้นฉบับได้ในรูปแบบ
huggingface-cli download meta-llama/Llama-3.3-70B-Instruct --include "original/*" --local-dir Llama-3.3-70B-Instruct
- สามารถดาวน์โหลด checkpoint ต้นฉบับได้ในรูปแบบ
- มีตัวเลือกสำหรับ local app และ serving ด้วย
- vLLM เริ่ม server ด้วย
vllm serve "meta-llama/Llama-3.3-70B-Instruct"และเรียกผ่าน API/v1/chat/completionsที่เข้ากันได้กับ OpenAI - SGLang รัน server ด้วย
python3 -m sglang.launch_server --model-path "meta-llama/Llama-3.3-70B-Instruct"และเรียกผ่าน API ที่เข้ากันได้กับ OpenAI - Docker Model Runner ใช้
docker model run hf.co/meta-llama/Llama-3.3-70B-Instruct
- vLLM เริ่ม server ด้วย
ข้อมูลฝึก ปริมาณการคำนวณ และการปล่อยก๊าซ
- ข้อมูล pretraining ประกอบด้วยประมาณ 15 ล้านล้านโทเค็น จากแหล่งสาธารณะ
- ข้อมูล fine-tuning รวม dataset instruction สาธารณะและตัวอย่างที่สร้างแบบสังเคราะห์ มากกว่า 25 ล้านรายการ
- ความทันสมัยของข้อมูลอยู่ถึง ธันวาคม 2023 ตามข้อมูล pretraining
- การฝึกใช้ไลบรารีฝึกแบบ custom, คลัสเตอร์ GPU แบบ custom ของ Meta และ production infrastructure
- fine-tuning, annotation และ evaluation ก็ดำเนินการบน production infrastructure เช่นกัน
- ใช้การคำนวณสะสม 39.3M GPU hours บนฮาร์ดแวร์ H100-80GB สำหรับการฝึก
- เวลาฝึกของรายการ Llama 3.3 70B คือ 7.0M GPU hours
- ระบุการใช้พลังงานฝึกที่ 700W ต่อ GPU
- การปล่อยก๊าซเรือนกระจกจากการฝึกแบ่งตามวิธีคำนวณ
- ค่าประมาณการปล่อยก๊าซแบบ location-based ทั้งหมดคือ 11,390 tons CO2eq
- การปล่อยก๊าซแบบ location-based ของรายการ Llama 3.3 70B คือ 2,040 tons CO2eq
- เนื่องจาก Meta รักษาการปล่อยสุทธิเป็นศูนย์ในการดำเนินงานทั่วโลกตั้งแต่ปี 2020 และจับคู่การใช้ไฟฟ้า 100% กับพลังงานหมุนเวียน การปล่อยก๊าซจากการฝึกแบบ market-based จึงเป็น 0 tons CO2eq
- วิธีคำนวณการใช้พลังงานและก๊าซเรือนกระจกระบุไว้ใน paper
- เนื่องจาก Meta เผยแพร่โมเดลแบบ public release การใช้พลังงานฝึกและการปล่อยก๊าซเรือนกระจกจึงไม่เกิดขึ้นกับผู้ใช้รายอื่น
ตำแหน่งที่เห็นจาก benchmark
- benchmark ข้อความภาษาอังกฤษเปรียบเทียบ Llama 3.3 กับโมเดลก่อนหน้า
- ผลลัพธ์หลักของ Llama-3.3 70B Instruct
- MMLU(CoT): 86.0
- MMLU Pro(CoT): 68.9
- IFEval: 92.1
- GPQA Diamond(CoT): 50.5
- HumanEval: 88.4
- MBPP EvalPlus(base): 87.6
- MATH(CoT): 77.0
- BFCL v2: 77.3
- MGSM: 91.1
- การเปรียบเทียบบางส่วนกับโมเดลก่อนหน้าและโมเดลระดับบน
- ใน HumanEval, Llama 3.1 70B Instruct ได้ 80.5, Llama-3.3 70B Instruct ได้ 88.4, และ Llama 3.1 405B Instruct ได้ 89.0
- ใน MATH, Llama 3.1 70B Instruct ได้ 68.0, Llama-3.3 70B Instruct ได้ 77.0, และ Llama 3.1 405B Instruct ได้ 73.8
- ใน MGSM, Llama 3.1 70B Instruct ได้ 86.9, Llama-3.3 70B Instruct ได้ 91.1, และ Llama 3.1 405B Instruct ได้ 91.6
การประเมินความปลอดภัยและความรับผิดชอบในการ deploy
- แนวทาง release อย่างรับผิดชอบของ Meta ใช้ 3 กลยุทธ์เพื่อจัดการความเสี่ยงด้านความเชื่อมั่นและความปลอดภัย
- สนับสนุนให้นักพัฒนา deploy ประสบการณ์ที่มีประโยชน์ ปลอดภัย และยืดหยุ่น เหมาะกับผู้ใช้เป้าหมายและ use case ที่ Llama รองรับ
- ปกป้องนักพัฒนาจากผู้ใช้ที่เป็นปฏิปักษ์ซึ่งพยายามใช้ความสามารถของ Llama ในทางที่ผิด
- ให้การคุ้มครองชุมชนเพื่อช่วยป้องกันการใช้โมเดลในทางที่ผิด
- Llama 3.3 ถูกออกแบบเป็น เทคโนโลยีพื้นฐาน ที่ใช้ได้กับ use case หลากหลาย
- ความปลอดภัยของโมเดลถูก alignment ให้เข้ากับ use case ทั่วไปและหมวดหมู่ความเสี่ยงมาตรฐาน
- นักพัฒนาต้องกำหนดนโยบายให้เหมาะกับ use case ของตน และ deploy ระบบ Llama พร้อมมาตรการป้องกันที่จำเป็น
- แนวทางที่เกี่ยวข้องมีอยู่ใน Responsible Use Guide
- safety fine-tuning ของ Llama 3.3 Instruct มุ่งให้ทรัพยากรสำหรับศึกษาความแข็งแรงของ safety fine-tuning และลดภาระของนักพัฒนาในการ deploy ระบบ AI ที่ปลอดภัย
- ข้อมูล fine-tuning ผสานข้อมูลที่มนุษย์สร้างโดย vendor และข้อมูลสังเคราะห์
- ใช้ classifier บน LLM เพื่อคัดเลือก prompt และ response คุณภาพสูง
- กลยุทธ์ข้อมูลด้านความปลอดภัยรวม borderline prompt และ adversarial prompt
- response ของข้อมูลความปลอดภัยถูกแก้ไขให้ทำตามแนวทางน้ำเสียงการปฏิเสธ
- โมเดลภาษาขนาดใหญ่รวมถึง Llama 3.3 ไม่ได้ออกแบบมาให้ deploy แบบเดี่ยว ๆ
- ควร deploy เป็นส่วนหนึ่งของระบบ AI ทั้งหมดร่วมกับ safety guardrails เพิ่มเติม
- เมื่อต้องสร้างระบบ agent นักพัฒนาต้อง deploy มาตรการป้องกันระบบ
- Meta ให้ทรัพยากร trust and safety ได้แก่ Llama Guard 3, Prompt Guard, Code Shield
- demo ของ reference implementations มีมาตรการป้องกันเหล่านี้รวมอยู่เป็นค่าเริ่มต้น
- ในฟังก์ชันการใช้เครื่องมือ นักพัฒนาต้องรับผิดชอบการผสาน LLM เข้ากับเครื่องมือ/บริการที่เลือก
- ต้องกำหนดนโยบายที่ชัดเจนตาม use case
- ต้องประเมินความสมบูรณ์และขอบเขตด้าน safety/security ของบริการบุคคลที่สาม
- ในความสามารถหลายภาษา อาจมีเอาต์พุตเป็นภาษานอกเหนือจาก 8 ภาษาที่รองรับได้
- หากต้องการสนทนาในภาษาที่ไม่ผ่านเกณฑ์ความปลอดภัยและประโยชน์ใช้สอย ต้องทำ fine-tuning และใช้การควบคุมระบบ
- Meta ไม่แนะนำอย่างยิ่งให้ใช้การสนทนาในภาษาที่ไม่รองรับ
การประเมินความเสี่ยงและทรัพยากรชุมชน
- การประเมินดำเนินกับ use case ทั่วไปและความสามารถเฉพาะ
- การประเมิน use case ทั่วไปวัดความเสี่ยงด้านความปลอดภัยของแอปที่พบบ่อยที่สุด เช่น chatbot, coding assistant, tool calling
- สร้าง dataset ประเมินแบบ adversarial โดยเฉพาะ และประเมินระบบที่ประกอบด้วย Llama model และ Llama Guard 3
- การประเมินแอปในบริบทเป็นสิ่งสำคัญ และแนะนำให้สร้าง dataset ประเมินเฉพาะตาม use case
- มีการฝึก red team แบบวนซ้ำ
- เป้าหมายคือการค้นหาความเสี่ยงผ่าน adversarial prompting
- ผลจากการฝึกใช้เพื่อปรับปรุง benchmark และ dataset สำหรับ safety tuning
- red team ประกอบด้วยผู้เชี่ยวชาญด้าน cybersecurity, adversarial machine learning, responsible AI, integrity และผู้เชี่ยวชาญด้านเนื้อหาหลายภาษา
- พื้นที่ความเสี่ยงที่เน้นบรรเทา
- CBRNE: ทำ uplift testing เพื่อประเมินว่าใช้โมเดลตระกูล Llama 3 ในการประเมินความเสี่ยงเกี่ยวกับการแพร่กระจายอาวุธเคมี/ชีวภาพแล้วเพิ่มขีดความสามารถของผู้ไม่หวังดีอย่างมีนัยสำคัญหรือไม่
- Child Safety: ทีมผู้เชี่ยวชาญประเมินความสามารถของเอาต์พุตที่อาจก่อให้เกิดความเสี่ยงด้านความปลอดภัยของเด็ก และพิจารณาความจำเป็นในการบรรเทาผ่าน fine-tuning
- Cyber attack enablement: ตรวจสอบว่าเพิ่มระดับทักษะและความเร็วของความสามารถมนุษย์ในงานแฮ็กหรือไม่ และประเมินว่าสามารถทำ cyber attack ที่ซับซ้อนในฐานะ autonomous agent ในบริบทการโจมตี ransomware ได้หรือไม่
- Meta เข้าร่วม consortium แบบเปิด เช่น AI Alliance, Partnership on AI, MLCommons และมีส่วนช่วยด้านมาตรฐานความปลอดภัยกับความโปร่งใส
- เครื่องมือ Purple Llama ถูก open-source เพื่อการใช้งานของชุมชน และรับ contribution จากชุมชนที่ PurpleLlama GitHub repository
- Llama Impact Grants ค้นหาและสนับสนุนแอปพลิเคชัน Llama เพื่อประโยชน์ต่อสังคมใน 3 หมวด ได้แก่ การศึกษา ภูมิอากาศ และนวัตกรรมแบบเปิด
- Meta ปรับปรุงเทคโนโลยี Llama อย่างต่อเนื่องด้วยความช่วยเหลือจากชุมชนผ่านกลไกรายงานเอาต์พุตและ bug bounty program
ข้อจำกัดและข้อควรระวังสำหรับนักพัฒนา
- คุณค่าหลักของ Llama 3.3 ระบุไว้ว่าเป็นความเปิดกว้าง ความครอบคลุม และประโยชน์ใช้สอย
- โมเดลถูกออกแบบให้ผู้คนที่มีภูมิหลัง ประสบการณ์ และมุมมองหลากหลายเข้าถึงได้
- Llama 3.3 เป็นเทคโนโลยีใหม่ และยังมีความเสี่ยงในการใช้งาน
- การทดสอบจนถึงปัจจุบันไม่ได้ครอบคลุมทุก scenario และไม่อาจครอบคลุมทั้งหมดได้
- เช่นเดียวกับ LLM อื่น ๆ เอาต์พุตที่เป็นไปได้ไม่สามารถคาดการณ์ล่วงหน้าได้
- ในบางกรณีอาจสร้างคำตอบที่ไม่ถูกต้อง มีอคติ หรือไม่พึงประสงค์ในรูปแบบอื่น
- ก่อน deploy แอปพลิเคชันที่ใช้โมเดล Llama 3.3 นักพัฒนาต้องทำ safety testing และ tuning ให้เหมาะกับแอปนั้น
- เอกสารเกี่ยวกับการพัฒนาอย่างรับผิดชอบมีอยู่ใน Responsible Use Guide, Trust and Safety และ resources อื่น ๆ
ยังไม่มีความคิดเห็น