Spreadsheets are all you need - เรียนรู้ AI ผ่านสเปรดชีต

 (spreadsheets-are-all-you-need.ai)
21 คะแนน โดย GN⁺ 2024-03-15 | 2 ความคิดเห็น | แชร์ทาง WhatsApp

เรียนรู้ AI ด้วย Excel

  • เรียนรู้ว่า AI ทำงานอย่างไรผ่าน LLM จริงที่สร้างขึ้นใน Excel
  • สร้าง GPT-2 แบบ Forward Pass ด้วยฟังก์ชัน Excel ล้วน ๆ โดยไม่ต้องเรียกใช้ external API
  • มุ่งหมายให้เข้าใจว่า หากเข้าใจสเปรดชีต ก็สามารถเข้าใจ AI ได้
  • บทเรียน 1: ทำความเข้าใจ GPT ด้วย Excel
  • บทเรียน 2: Byte Pair Encoding และ Tokenization
  • เพิ่มเติม: เจาะรายละเอียดการสร้างใน Excel (สำหรับผู้ที่เข้าใจ Transformers)
  • อยู่ในรูปแบบ XLSB (Excel Binary) จึงสามารถดาวน์โหลดไปเปิดใช้งานได้ (ใช้ได้ทั้ง Mac/Windows แต่แนะนำ Windows)
  • ข้อจำกัดของการสร้าง
    • โมเดล GPT-2 ขนาดเล็กแบบครบชุด (พารามิเตอร์ 124M) รวมทั้ง BPE, multi-head attention และขั้นตอน multilayer perceptron
    • ทำได้เฉพาะ inference/forward pass เท่านั้น (ไม่มีการฝึก)
    • context จำกัดความยาวไว้ที่ 10 โทเค็น
    • จำกัด 10 ตัวอักษรต่อคำ
    • รองรับเฉพาะเอาต์พุตแบบ Zero Temperature

FAQ

  • เกี่ยวกับ Google Sheets: โปรเจกต์นี้เริ่มต้นจาก Google Sheets แต่เนื่องจากโมเดลทั้งชุดมีขนาดใหญ่เกินไปจึงย้ายมาใช้ Excel ขณะนี้ยังคงสำรวจวิธีให้ทำงานบน Google Sheets อยู่ แต่มีแนวโน้มว่าน่าจะไม่เหมาะกับการทำเป็นไฟล์เดียวแบบ Excel
  • เหตุใดจึงคุยโต้ตอบแบบ ChatGPT ไม่ได้: นอกจากข้อจำกัดเรื่อง context ที่สั้นมากแล้ว ยังขาด instruction tuning และการเสริมการเรียนรู้จาก feedback ของมนุษย์ (RLHF) ที่จำเป็นต่อการทำให้เป็นแชตบอตแบบโต้ตอบได้
  • ที่มาของชื่อ: ชื่อ "Spreadsheets-are-all-you-need" เป็นการเล่นคำจากชื่อบทความวิชาการชื่อดัง "Attention Is All You Need" ซึ่งอธิบายสถาปัตยกรรมการเรียนรู้ของเครื่องแบบ Transformer เป็นครั้งแรก

ความเห็นของ GN⁺

  • โปรเจกต์นี้ช่วยเพิ่มการเข้าถึง AI และ machine learning ได้มากขึ้น ด้วยการใช้เครื่องมือที่คุ้นเคยอย่าง Excel เพื่อทำให้เข้าใจเทคโนโลยีที่ซับซ้อนได้ง่ายขึ้น จึงเปิดโอกาสให้คนทั่วไปที่ไม่ใช่ผู้เชี่ยวชาญเรียนรู้หลักการพื้นฐานของ AI ได้
  • การสร้างผ่าน Excel มีประโยชน์ต่อการทำความเข้าใจเชิงภาพว่าโมเดล AI จริงทำงานอย่างไร แต่ไม่ได้ถูกใช้สำหรับการพัฒนา AI จริง ดังนั้นการเรียน AI ด้วยวิธีนี้ไม่ได้ทำให้กลายเป็นนักพัฒนา AI มืออาชีพโดยตรง
  • เครื่องมือเพื่อการเรียนรู้ลักษณะนี้สามารถช่วยเพิ่มความสนใจของสาธารณชนต่อ AI และมีส่วนต่อการทำให้เทคโนโลยี AI เข้าถึงได้กว้างขึ้น แต่เมื่อสร้างระบบ AI จริง ก็ยังจำเป็นต้องใช้เครื่องมือและเฟรมเวิร์กที่เฉพาะทางมากกว่า
  • ตัวอย่างโปรเจกต์เพื่อการเรียนรู้ที่คล้ายกัน ได้แก่ Google's Machine Learning Crash Course หรือคอร์ส Machine Learning ของศาสตราจารย์ Andrew Ng บน Coursera ซึ่งผสานทั้งทฤษฎีและภาคปฏิบัติเพื่อการเรียนรู้ที่ลึกยิ่งขึ้น
  • เมื่อนำแนวคิดนี้ไปใช้ ควรเข้าใจว่าจำเป็นต้องใช้แนวทางที่ต่างจากการพัฒนาโมเดล AI จริง โปรเจกต์นี้มุ่งเน้นด้านการศึกษา และในการพัฒนา AI จริงโดยทั่วไปจะใช้เฟรมเวิร์ก AI เฉพาะทางอย่าง TensorFlow และ PyTorch

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
GN⁺ 2024-03-15
ความคิดเห็นจาก Hacker News

  • คำทักทายและคำขอบคุณจากผู้สร้าง

    • ผู้สร้างโปรเจกต์: ขอบคุณที่นำโพสต์นี้มาเผยแพร่ พร้อมตอบคำถามหรือข้อเสนอแนะ และหวังว่าจะช่วยให้ผู้คนเข้าใจ LLM (Large Language Models) ได้ดียิ่งขึ้น วิดีโอถัดไปจะเกี่ยวกับ embeddings และน่าจะเสร็จในเร็ว ๆ นี้

  • การสอนโครงข่ายประสาทด้วยสเปรดชีต

    • Jeremy Howard: ตลอดหลายปีที่ผ่านมาเขาใช้สเปรดชีตเพื่อสอนโครงข่ายประสาท (NNs) และมองว่าวิธีนี้ทั้งให้ความรู้และเข้าใจได้อย่างเป็นธรรมชาติ

  • อธิบายโครงข่ายประสาทด้วยสเปรดชีต

    • จากนี้ไป แทนที่จะพูดว่า "มันก็แค่การฟิตเส้นโค้ง (curve fitting)" ก็สามารถอธิบายให้เพื่อนฟังได้ว่า "มันก็เป็นแค่สเปรดชีตเท่านั้น"

  • แชร์ลิงก์สเปรดชีต

  • คำถามเกี่ยวกับความจำเป็นของ RLHF

    • มีการตั้งข้อสงสัยว่า instruction tuning และการเรียนรู้เสริมจากฟีดแบ็กของมนุษย์ (RLHF) ที่ใช้เปลี่ยนโมเดลภาษาขนาดใหญ่ให้เป็นแชตบอตนั้น อาจไม่จำเป็นก็ได้หรือไม่

  • ความทึ่งต่อวิธีนำ GPT-2 ไปทำในสเปรดชีต

    • รู้สึกประทับใจที่สามารถทำ GPT-2 ลงในสเปรดชีตได้ และถามผู้เขียนว่าโปรเจกต์นี้จะเปิดเป็นโอเพนซอร์สหรือไม่

  • ความเป็นไปได้ในการทำ GPT-3 หรือ GPT-4 บนสเปรดชีต

    • สงสัยว่าทำไมสเปรดชีตจึงไม่สามารถใช้ทำ GPT-3 หรือ GPT-4 ได้

  • โปรเจกต์ยอดเยี่ยมที่ช่วยให้เข้าใจ LLM

    • โปรเจกต์นี้ยอดเยี่ยมมาก และมีการส่งต่อให้ 7 คนเพื่อช่วยให้พวกเขาเข้าใจ LLM (Large Language Models) ได้ดีขึ้น

  • แชร์ตัวอย่างการแก้ PDE ใน Excel

    • มีการแชร์ตัวอย่างการแก้สมการเชิงอนุพันธ์ย่อย (PDEs) ใน Excel ผู้แสดงความคิดเห็นเคยรู้จัก FFT (Fast Fourier Transform) และฟังก์ชันพิเศษมาก่อนแล้ว แต่คิดว่าสิ่งนี้ดูน่าสนใจและสนุกดี

  • บริษัท AI ที่มีธนาคารเพื่อการลงทุนเป็นลูกค้า

    • ไอเดียของบริษัท AI ที่มีธนาคารเพื่อการลงทุนเป็นลูกค้านั้นฉลาดมาก