speculative_decoding.c: โค้ด C สำหรับ speculative decoding ที่เขียนขึ้นบนพื้นฐานของ llama2.c

นี่คือโค้ดอินเฟอเรนซ์ speculative decoding แบบง่ายที่ลองเขียนด้วย C
ผมเขียนให้เป็นโค้ดเรียบง่ายเพื่อการศึกษา คล้ายกับ llama2.c ที่ใช้เป็นพื้นฐาน
ถัดไปมีแผนจะลองนำงานวิจัยที่ใหม่กว่านี้มาทำเป็นโค้ด