Silurian (YC S24) เปิดตัว – เทคโนโลยีการจำลองโลก

 (news.ycombinator.com)
1 คะแนน โดย GN⁺ 2024-09-17 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • พวกเราคือ Jayesh, Cris และ Nikhil และเป็นส่วนหนึ่งของทีม Silurian โดย Silurian กำลังสร้าง foundation model สำหรับการจำลองโลก โดยเริ่มต้นจากการพยากรณ์อากาศ ตอนนี้สามารถดูภาพแสดงผลการคาดการณ์พายุเฮอริเคนล่าสุดได้ที่ที่นี่

  • ถ้าสามารถรู้พยากรณ์อากาศได้เร็วขึ้นอีกหนึ่งวัน มันจะมีมูลค่าแค่ไหน? ระบบพยากรณ์แบบดั้งเดิมมีความแม่นยำดีขึ้นประมาณหนึ่งวันในทุก ๆ 10 ปี แต่ในช่วงไม่กี่ปีที่ผ่านมา ความเร็วนี้กำลังเพิ่มขึ้นด้วยพลังของ GPU และเทคนิคดีปเลิร์นนิงสมัยใหม่

  • นับตั้งแต่ปี 2022 เป็นต้นมา NVIDIA, Google DeepMind, Huawei และ Microsoft ต่างก็วิจัยระบบดีปเลิร์นนิงสำหรับสภาพอากาศอย่างจริงจัง โมเดลเหล่านี้แทบไม่ได้ฝังกฎฟิสิกส์ไว้ภายใน และเรียนรู้การพยากรณ์จากข้อมูลล้วน ๆ ที่น่าทึ่งคือ แนวทางนี้ให้ผลพยากรณ์ดีกว่าการจำลองฟิสิกส์บรรยากาศแบบดั้งเดิม

  • Jayesh และ Cris ได้สัมผัสศักยภาพของเทคโนโลยีนี้โดยตรงจากการเป็นผู้นำโครงการ ClimaX และ Aurora ของ Microsoft ตามลำดับ foundation model ที่พวกเขาสร้างขึ้นสามารถปรับปรุงผลพยากรณ์ของ ECMWF ซึ่งถือเป็นมาตรฐานทองคำของการพยากรณ์อากาศได้ ทั้งที่ใช้ข้อมูลฝึกเพียงส่วนน้อยมาก เป้าหมายของ Silurian คือการขยายโมเดลเหล่านี้ให้ไกลที่สุด และผลักดันไปจนถึงขีดจำกัดของการพยากรณ์เชิงฟิสิกส์ ท้ายที่สุดคือการสร้างแบบจำลองโครงสร้างพื้นฐานทุกประเภทที่ได้รับผลกระทบจากสภาพอากาศ ไม่ว่าจะเป็นโครงข่ายพลังงาน เกษตรกรรม โลจิสติกส์ และการป้องกันประเทศ กล่าวอีกอย่างคือ การจำลองโลก

  • ในช่วงฤดูร้อนนี้ เราได้สร้างโมเดล frontier ขนาด 1.5B พารามิเตอร์ชื่อ GFT (Generative Forecasting Transformer) โมเดลนี้จำลองสภาพอากาศทั่วโลกได้นานสูงสุด 14 วัน ที่ความละเอียดราว 11 กม. แม้ว่าข้อมูลสภาพอากาศสุดขั้วในบันทึกย้อนหลังจะมีไม่มาก แต่ GFT ก็แสดงผลงานที่โดดเด่นมากในการคาดการณ์เส้นทางพายุเฮอริเคนปี 2024 สามารถดูการคาดการณ์พายุเฮอริเคนของเราได้ที่นี่ เราใช้เครื่องมือแสดงภาพสภาพอากาศโอเพนซอร์ส cambecc/earth เพื่อสร้างภาพเหล่านี้

  • เราตื่นเต้นมากกับการเปิดตัวบน HN และอยากฟังความคิดเห็นจากทุกคน

สรุปโดย GN⁺

  • Silurian เป็นบริษัทที่กำลังสร้าง foundation model สำหรับการจำลองโลก โดยเริ่มจากการพยากรณ์อากาศ
  • ในช่วงไม่กี่ปีที่ผ่านมา ความก้าวหน้าของดีปเลิร์นนิงช่วยยกระดับความแม่นยำของการพยากรณ์อากาศอย่างมาก
  • โมเดล GFT ของ Silurian แสดงผลการพยากรณ์ที่โดดเด่น แม้จะมีข้อมูลสภาพอากาศสุดขั้วอยู่อย่างจำกัด
  • เทคโนโลยีนี้มีศักยภาพในการประยุกต์ใช้กับโครงสร้างพื้นฐานหลากหลายด้าน เช่น พลังงาน เกษตรกรรม และโลจิสติกส์
  • โครงการที่มีลักษณะใกล้เคียงกัน ได้แก่ ระบบดีปเลิร์นนิงด้านสภาพอากาศของ NVIDIA และ Google DeepMind

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-17
ความคิดเห็นจาก Hacker News

  • ดีใจที่ตอนนี้สามารถทำการพยากรณ์แบบเอนเซมเบิลสำหรับพายุหมุนเขตร้อนได้

    • รู้สึกผิดหวังที่นำโมเดล ML ไปเปรียบเทียบกับโมเดล HRES ของ ECMWF
    • HRES เป็นการเกิดขึ้นจริงเพียงชุดเดียวของสภาพอากาศที่เป็นไปได้ ไม่ใช่การประมาณค่าสภาพอากาศเฉลี่ยที่ดีที่สุด
    • NeuralGCM อยู่อันดับต้น ๆ บนลีดเดอร์บอร์ดของ WeatherBench
    • อยากเห็นการเปรียบเทียบประสิทธิภาพของโมเดลบน WeatherBench

  • โมเดลที่ไม่ได้ฝังฟิสิกส์ไว้ภายในกลับพยากรณ์ได้ดีกว่าโดยอาศัยข้อมูลเพียงอย่างเดียว

    • สุภาษิตในวงการ NLP ที่ว่า "ทุกครั้งที่ไล่นักภาษาศาสตร์ออก ประสิทธิภาพจะดีขึ้น" ดูเหมือนจะใช้กับนักฟิสิกส์ได้ด้วย

  • Silurian กำลังสร้าง foundation model สำหรับการจำลองโลก

    • ถ้าสำเร็จ ก็สงสัยว่าอยากจำลองอะไรต่ออีก

  • ตื่นเต้นกับศักยภาพเชิงพาณิชย์ของ ClimaX

    • สงสัยว่ามีอุตสาหกรรมเฉพาะใดติดต่อมาเกี่ยวกับศักยภาพเชิงพาณิชย์หรือไม่ (เช่น การสำรวจทรัพยากรธรรมชาติ)

  • ในฐานะองค์กรไม่แสวงหากำไร กำลังสร้างโมเดลลักษณะคล้ายกันสำหรับพื้นดิน

    • อยากช่วยแทนที่ land mask ด้วย land embedding
    • สิ่งนี้น่าจะช่วยได้มากในการทำ downscale ผลกระทบเฉพาะพื้นที่

  • สงสัยว่าต่างจาก GraphCast ที่ Google เปิดตัวเมื่อปีก่อนอย่างไร

  • สับสนกับโมเดลสภาพอากาศ

    • สงสัยว่าวิธีแบบ ML มีเสถียรภาพเชิงตัวเลขมากกว่าการจำลองบนพื้นฐานฟิสิกส์หรือไม่
    • สงสัยว่าเมื่อเทียบกันแล้วเป็นอย่างไรในแง่ความต้องการด้านการประมวลผล
    • เคยมีประสบการณ์แปลงโมเดลจาก FORTRAN ไปเป็น Verilog มาก่อน

  • สงสัยว่าเคยลองนำแนวทางนี้ไปใช้กับแผ่นดินไหวที่คาดเดาไม่ได้หรือไม่

  • แนวทางนี้ดูเหมือนเป็นอีกตัวอย่างหนึ่งของ "The Bitter Lesson"

  • สงสัยว่าในอนาคตจะจำลองอะไรต่ออีก

    • เคยสร้างเดโมที่ค้นหาวัตถุด้วยภาษาธรรมชาติในซานฟรานซิสโกได้
    • เคยลองใช้ Clay embedding แล้ว แต่ประสิทธิภาพด้อยกว่า OSM caption embedding ที่ fine-tune ด้วย CLIP