- บทช่วยสอนที่อธิบายการสร้าง GPT แบบง่าย ๆ โดยตั้งอยู่บนสมมติฐานว่าคุ้นเคยกับ Python และ Numpy แล้ว และลองโหลดโมเดล GPT-2 ที่ OpenAI เผยแพร่เพื่อสร้างข้อความ
สารบัญ
- GPT คืออะไร
- การตั้งค่า : Encoder, Hyperparameters, Parameters
- เลเยอร์พื้นฐาน : GeLU, Softmax, Layer Normalization, Linear
- สถาปัตยกรรม GPT
- Embeddings
- Decoder Stack
- Project to Vocab
- Decoder Block
- Position-wise Feed Forward Network
- Multi-Head Causal Self Attention
- รวมทุกอย่างเข้าด้วยกัน
- What's Next?
- GPU/TPU Support
- Backpropagation
- Batching
- Inference Optimization
- Training
- Evaluation
- Architecture Improvements
ยังไม่มีความคิดเห็น