Silurian (YC S24) เปิดตัว – เทคโนโลยีการจำลองโลก

 (news.ycombinator.com)
1 คะแนน โดย GN⁺ 2024-09-17 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Silurian กำลังสร้าง foundation model สำหรับการจำลองโลก และเลือกการพยากรณ์อากาศเป็นกรณีใช้งานแรก เพราะยิ่งทำนายได้เร็วขึ้นแม้เพียงวันเดียวก็ยิ่งมีมูลค่าสูง
  • การพยากรณ์อากาศแบบเดิมมีการพัฒนาความแม่นยำราว 1 วันต่อทุก ๆ 10 ปี แต่ล่าสุด GPU และดีปเลิร์นนิงสมัยใหม่ได้เร่งความก้าวหน้านี้ให้เร็วขึ้น
  • หลังปี 2022 เป็นต้นมา NVIDIA, Google DeepMind, Huawei, Microsoft และบริษัทอื่น ๆ ได้ทำวิจัยด้าน การพยากรณ์อากาศด้วยดีปเลิร์นนิง อย่างคึกคัก และโมเดลที่ขับเคลื่อนด้วยข้อมูลอาจให้ผลลัพธ์ดีกว่าการจำลองฟิสิกส์บรรยากาศแบบดั้งเดิม
  • GFT (Generative Forecasting Transformer) ที่สร้างขึ้นจากประสบการณ์กับ ClimaX และ Aurora ของ Microsoft สามารถจำลองสภาพอากาศทั่วโลกได้ล่วงหน้าสูงสุด 14 วัน ที่ความละเอียดประมาณ 11 กม.
  • เป้าหมายระยะยาวคือการขยายการจำลองไปสู่ โครงสร้างพื้นฐานที่ได้รับผลกระทบจากสภาพอากาศ เช่น โครงข่ายพลังงาน เกษตร โลจิสติกส์ และกลาโหม โดยขณะนี้ได้เปิดเผยการพยากรณ์เส้นทางเฮอริเคนปี 2024 แล้ว

เริ่มต้นการจำลองโลกจากการพยากรณ์อากาศ

  • Silurian เป็นทีมที่ก่อตั้งโดย Jayesh, Cris และ Nikhil เพื่อพัฒนา foundation model สำหรับการจำลองโลก
  • เป้าหมายการใช้งานแรกคือ การพยากรณ์อากาศ และสามารถดูผลการพยากรณ์เฮอริเคนล่าสุดได้ที่ hurricanes2024.silurian.ai
  • เป้าหมายคือขยายโมเดลและผลักดันมันไปจนถึงขีดจำกัดที่ฟิสิกส์ยังสามารถทำนายได้
  • ในระยะยาว บริษัทต้องการจำลองไปถึงโครงสร้างพื้นฐานที่ได้รับผลกระทบจากสภาพอากาศ
    • โครงข่ายพลังงาน
    • เกษตร
    • โลจิสติกส์
    • กลาโหม

สถานะปัจจุบันของการพยากรณ์ด้วยดีปเลิร์นนิงและ GFT

  • ระบบพยากรณ์แบบดั้งเดิมมีการพัฒนาประสิทธิภาพประมาณ 1 วันต่อทุก ๆ 10 ปี กล่าวคือพยากรณ์ล่วงหน้า 6 วันในปัจจุบันมีความแม่นยำใกล้เคียงกับพยากรณ์ล่วงหน้า 5 วันเมื่อ 10 ปีก่อน
  • หลังปี 2022 เป็นต้นมา งานวิจัยด้าน ระบบพยากรณ์อากาศด้วยดีปเลิร์นนิง จาก NVIDIA, Google DeepMind, Huawei, Microsoft และบริษัทอื่น ๆ เพิ่มขึ้นอย่างรวดเร็ว
  • โมเดลเหล่านี้แทบไม่มีหรือไม่มีเลยซึ่งกฎฟิสิกส์ที่ฝังอยู่ภายใน และเรียนรู้การพยากรณ์จากข้อมูลเพียงอย่างเดียว
  • Jayesh และ Cris ได้สัมผัสศักยภาพของเทคโนโลยีนี้โดยตรง ขณะเป็นผู้นำโครงการ ClimaX และ Aurora ที่ Microsoft ตามลำดับ
    • foundation model เหล่านี้ให้ผลลัพธ์ดีกว่าการพยากรณ์ของ ECMWF ซึ่งถือเป็นมาตรฐานของการพยากรณ์อากาศ
    • ข้อมูลฝึกที่ใช้ยังเป็นเพียงส่วนหนึ่งของข้อมูลที่มีอยู่เท่านั้น
  • Silurian ได้สร้าง foundation model ของตนเองชื่อ GFT (Generative Forecasting Transformer) ในช่วงฤดูร้อนนี้
    • เป็น frontier model ที่มีพารามิเตอร์ 1.5 พันล้านตัว
    • จำลองสภาพอากาศทั่วโลกได้ล่วงหน้าสูงสุด 14 วัน
    • มีความละเอียดประมาณ 11 กม.
  • แม้ข้อมูลสภาพอากาศสุดขั้วในอดีตจะมีไม่มาก แต่ GFT ก็แสดงประสิทธิภาพที่ดีมากในการ พยากรณ์เส้นทางเฮอริเคนปี 2024
  • สามารถตรวจสอบการพยากรณ์เฮอริเคนได้โดยตรงที่ hurricanes2024.silurian.ai
  • การแสดงผลภาพใช้เครื่องมือโอเพนซอร์สสำหรับการแสดงข้อมูลสภาพอากาศ cambecc/earth

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-17
ความคิดเห็นจาก Hacker News

  • ดีใจที่ตอนนี้สามารถทำการพยากรณ์แบบเอนเซมเบิลสำหรับพายุหมุนเขตร้อนได้

    • รู้สึกผิดหวังที่นำโมเดล ML ไปเปรียบเทียบกับโมเดล HRES ของ ECMWF
    • HRES เป็นการเกิดขึ้นจริงเพียงชุดเดียวของสภาพอากาศที่เป็นไปได้ ไม่ใช่การประมาณค่าสภาพอากาศเฉลี่ยที่ดีที่สุด
    • NeuralGCM อยู่อันดับต้น ๆ บนลีดเดอร์บอร์ดของ WeatherBench
    • อยากเห็นการเปรียบเทียบประสิทธิภาพของโมเดลบน WeatherBench

  • โมเดลที่ไม่ได้ฝังฟิสิกส์ไว้ภายในกลับพยากรณ์ได้ดีกว่าโดยอาศัยข้อมูลเพียงอย่างเดียว

    • สุภาษิตในวงการ NLP ที่ว่า "ทุกครั้งที่ไล่นักภาษาศาสตร์ออก ประสิทธิภาพจะดีขึ้น" ดูเหมือนจะใช้กับนักฟิสิกส์ได้ด้วย

  • Silurian กำลังสร้าง foundation model สำหรับการจำลองโลก

    • ถ้าสำเร็จ ก็สงสัยว่าอยากจำลองอะไรต่ออีก

  • ตื่นเต้นกับศักยภาพเชิงพาณิชย์ของ ClimaX

    • สงสัยว่ามีอุตสาหกรรมเฉพาะใดติดต่อมาเกี่ยวกับศักยภาพเชิงพาณิชย์หรือไม่ (เช่น การสำรวจทรัพยากรธรรมชาติ)

  • ในฐานะองค์กรไม่แสวงหากำไร กำลังสร้างโมเดลลักษณะคล้ายกันสำหรับพื้นดิน

    • อยากช่วยแทนที่ land mask ด้วย land embedding
    • สิ่งนี้น่าจะช่วยได้มากในการทำ downscale ผลกระทบเฉพาะพื้นที่

  • สงสัยว่าต่างจาก GraphCast ที่ Google เปิดตัวเมื่อปีก่อนอย่างไร

  • สับสนกับโมเดลสภาพอากาศ

    • สงสัยว่าวิธีแบบ ML มีเสถียรภาพเชิงตัวเลขมากกว่าการจำลองบนพื้นฐานฟิสิกส์หรือไม่
    • สงสัยว่าเมื่อเทียบกันแล้วเป็นอย่างไรในแง่ความต้องการด้านการประมวลผล
    • เคยมีประสบการณ์แปลงโมเดลจาก FORTRAN ไปเป็น Verilog มาก่อน

  • สงสัยว่าเคยลองนำแนวทางนี้ไปใช้กับแผ่นดินไหวที่คาดเดาไม่ได้หรือไม่

  • แนวทางนี้ดูเหมือนเป็นอีกตัวอย่างหนึ่งของ "The Bitter Lesson"

  • สงสัยว่าในอนาคตจะจำลองอะไรต่ออีก

    • เคยสร้างเดโมที่ค้นหาวัตถุด้วยภาษาธรรมชาติในซานฟรานซิสโกได้
    • เคยลองใช้ Clay embedding แล้ว แต่ประสิทธิภาพด้อยกว่า OSM caption embedding ที่ fine-tune ด้วย CLIP