อิมพลีเมนเตชันโอเพนซอร์สของ AlphaFold3

 (github.com/Ligo-Biosciences)
3 คะแนน โดย GN⁺ 2024-09-05 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ผู้ก่อตั้งของ Ligo Biosciences ได้เผยแพร่อิมพลีเมนเตชันโอเพนซอร์สของ AlphaFold3 ซึ่งเป็นโมเดลล่าสุดสำหรับการทำนายโครงสร้างโปรตีน
  • Google DeepMind และสตาร์ทอัพใหม่ของพวกเขาอย่าง Isomorphic Labs กำลังขยายธุรกิจไปสู่การพัฒนายา
    • พัฒนา AlphaFold3 เพื่อเร่งการพัฒนายาและสร้างความต้องการจากบริษัทยา
    • ได้ลงนามสัญญามูลค่า 3 พันล้านดอลลาร์กับ Novartis และ Eli Lilly แล้ว
  • AlphaFold3 เป็นโมเดลสำหรับการทำนายโครงสร้างชีวโมเลกุล (biomolecular structure prediction) ที่มีความสามารถหลัก 3 ด้าน
    • การทำนายโครงสร้างโปรตีน
    • การทำนายโครงสร้างปฏิสัมพันธ์ระหว่างยา-โปรตีน
    • การทำนายโครงสร้างเชิงซ้อนระหว่างกรดนิวคลีอิก-โปรตีน
  • AlphaFold3 มีความสำคัญอย่างมากในวงการวิทยาศาสตร์ เพราะช่วยเร่งการทำแผนที่โครงสร้างโปรตีนได้อย่างมหาศาล
    • จากเดิมที่นักศึกษาปริญญาเอกหนึ่งคนอาจใช้เวลาตลอดหลักสูตรเพื่อศึกษาโครงสร้างเพียงหนึ่งรายการ แต่เมื่อใช้ AlphaFold3 จะได้ผลการทำนายที่มีความแม่นยำใกล้เคียงการทดลองภายในไม่กี่นาที
  • ปัญหาคือ DeepMind ประกาศ AlphaFold3 เมื่อเดือนพฤษภาคม แต่ไม่ได้เปิดเผยโค้ด
    • สิ่งนี้ก่อให้เกิดคำถามด้านความสามารถในการทำซ้ำและความไม่พอใจในแวดวงวิทยาศาสตร์
  • AlphaFold3 เป็นความก้าวหน้าพื้นฐานของเทคโนโลยีการสร้างแบบจำลองโครงสร้างที่ทั้งอุตสาหกรรมเทคโนโลยีชีวภาพจะได้รับประโยชน์ และมีขอบเขตการใช้งานกว้างมาก
    • เทคโนโลยีตัดต่อยีน CRISPR: นักวิทยาศาสตร์สามารถเห็นได้อย่างแม่นยำว่า DNA มีปฏิสัมพันธ์กับโปรตีน Cas ที่ทำหน้าที่เหมือนกรรไกรอย่างไร
    • การวิจัยมะเร็ง: สามารถทำนายได้ว่ายาที่อาจเป็นไปได้จะจับกับเป้าหมายมะเร็งอย่างไร หนึ่งในไฮไลต์ของงานวิจัย DeepMind คือการทำนายโครงสร้างเชิงซ้อนของตัวยับยั้ง KRAS ทางคลินิกกับเป้าหมายของมัน
    • การทำนายแอนติบอดี/นาโนบอดีกับเป้าหมาย: AlphaFold3 เพิ่มความแม่นยำสำหรับกลุ่มโมเลกุลนี้ได้ 2 เท่าเมื่อเทียบกับเครื่องมืออันดับรองลงมา
  • น่าเสียดายที่เนื่องจากเป็นไลเซนส์แบบไม่ใช่เชิงพาณิชย์ จึงไม่มีบริษัทใดสามารถใช้งานได้
  • ดังนั้นจึงได้ปล่อยอิมพลีเมนเตชันโอเพนซอร์สของ AlphaFold3
    • เปิดเผยทั้งโมเดลที่ฝึกด้วยโปรตีนสายเดี่ยว โดยอีกสองความสามารถที่เหลือจะฝึกและปล่อยตามมาในเร็ว ๆ นี้
    • รวมโค้ดสำหรับการฝึกไว้ด้วย
    • จะเปิดเผย weights เมื่อการฝึกและการทำเบนช์มาร์กเสร็จสิ้น
    • ใช้ไลเซนส์ Apache 2.0 เพื่อให้เป็นโอเพนซอร์สอย่างแท้จริง
  • DeepMind ได้เปิดเผยสถาปัตยกรรมทั้งหมดของโมเดลผ่านงานวิจัย พร้อม pseudocode ของแต่ละองค์ประกอบ
    • ได้แปลทั้งหมดเป็น PyTorch อย่างครบถ้วน แต่ต้องทำ reverse engineering มากกว่าที่คิด
  • ระหว่างการสร้างช่วงแรก พบปัญหาหลายอย่างในงานวิจัยของ DeepMind ที่รบกวนการฝึก น่าจะเป็นสิ่งที่ชุมชนดีปเลิร์นนิงสนใจ
    • การสเกล MSE loss แตกต่างจาก Karras et al. (2022) โดย weights ที่ให้มาในงานวิจัยไม่สามารถลด loss ในระดับ noise สูงได้
    • ในงานวิจัยมี residual layer ที่หายไป
      • เมื่อเพิ่ม residual layer ที่หายไปเข้าไป ก็พบว่าช่วยเรื่อง gradient flow และการลู่เข้า
      • จึงสงสัยว่ามีใครรู้หรือไม่ว่าทำไม DeepMind ถึงละเว้น residual connection ในบล็อก DiT
    • โครงสร้างปัจจุบันของโมดูล MSA มี dead layer อยู่
      • pair weighted averaging และ transition layer สุดท้ายไม่สามารถมีส่วนต่อ pair representation ได้ จึงไม่มีการแพร่กระจายของ gradient
      • ได้เปลี่ยนลำดับให้เหมือนกับ ExtraMsaStack ของ AlphaFold2
      • การใช้ weight sharing ก็อาจเป็นอีกทางเลือกหนึ่ง แต่ในงานวิจัยอธิบายเรื่องนี้ไว้อย่างกำกวม
  • ที่ Ligo (YC S24) กำลังใช้แนวคิดของ AlphaFold3 สำหรับการออกแบบเอนไซม์
  • มองว่าการทำ AlphaFold3 ให้เป็นโอเพนซอร์สเป็นภารกิจเสริมที่ช่วยชุมชน

ความเห็นของ GN⁺

  • AlphaFold3 เป็นเทคโนโลยีพลิกวงการในด้านการทำนายโครงสร้างโปรตีน และคาดว่าจะส่งผลกระทบอย่างมากต่อการพัฒนายาและการวิจัยชีววิทยาศาสตร์
  • อย่างไรก็ตาม การที่ DeepMind ไม่เปิดเผยโค้ดอาจมองได้ว่าไม่สอดคล้องกับหลักการด้านความสามารถในการทำซ้ำและจิตวิญญาณของความร่วมมือในแวดวงวิทยาศาสตร์
  • โปรเจกต์โอเพนซอร์สที่มีความสามารถคล้าย AlphaFold3 ได้แก่ OpenFold, RoseTTAFold เป็นต้น
  • เมื่อนำ AlphaFold3 มาใช้ ควรพิจารณาอย่างรอบคอบทั้งความแม่นยำของโมเดล ข้อจำกัด และความต้องการด้านทรัพยากรคอมพิวต์
  • การมาของอิมพลีเมนเตชันโอเพนซอร์สทำให้นักวิจัยและบริษัทจำนวนมากขึ้นสามารถได้รับประโยชน์จาก AlphaFold3 แต่การนำไปใช้เชิงพาณิชย์ยังคงมีข้อจำกัดอยู่

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-05
ความคิดเห็นจาก Hacker News

  • DeepMind และ AlphaFold กำลังเปลี่ยนไปเป็นซอร์สปิด

    • ได้ก่อตั้ง Isomorphic Labs เป็นหน่วยงานภายใต้ Alphabet เพื่อมุ่งเน้นงานซอร์สปิด
    • ในทางทฤษฎี เวอร์ชันโอเพนซอร์สของเครื่องมือทางวิชาการน่าจะเป็นเรื่องที่ดี
    • ไม่คุ้นเคยกับสาขานี้มากพอจึงยากที่จะชี้ข้อดีที่เป็นรูปธรรม
    • สงสัยว่าแผนของบริษัทคืออะไร
    • สงสัยว่าจะทำโครงการโอเพนซอร์สต่อไปในฐานะส่วนหนึ่งของโมเดลธุรกิจหรือไม่ หรือเป็นเพียงครั้งเดียว
    • เว็บไซต์คลุมเครือมากเกี่ยวกับสิ่งที่พยายามจะขาย

  • สงสัยว่ามีการตรวจสอบการพยากรณ์อย่างไร

    • สงสัยว่าหลังการพยากรณ์แล้วยังต้องใช้เทคนิคการทดลองอย่าง X-ray crystallography, cryo-EM เป็นต้นหรือไม่
    • สงสัยว่าการพยากรณ์ใกล้เคียงความเป็นจริงมากพอจนเดินหน้าต่อได้โดยไม่ต้องทดลองหรือไม่

  • สงสัยว่ามีแผนจะตีพิมพ์บทความเกี่ยวกับ implementation นี้หรือไม่

    • จะทำให้อ้างอิงในวรรณกรรมได้ง่ายขึ้นในภายหลัง
    • สงสัยว่าวารสารหลักจะรับบทความลักษณะนั้นหรือไม่
    • หากมีคำถามเรื่องความสามารถในการทำซ้ำได้ ก็น่าจะรับพิจารณา

  • ดีใจที่เวอร์ชันเปิดนี้สามารถใช้ในสภาพแวดล้อมเชิงพาณิชย์ได้

    • เป็นวิธีที่ยอดเยี่ยมในการเริ่มต้นบริษัท

  • น่าจะเป็นความคิดที่ดีหากเปลี่ยนชื่อ implementation นี้

    • เพราะมันไม่ใช่ AlphaFold3 จริง ๆ
    • อาจได้รับคำขอให้หยุดใช้ชื่อนี้จาก DM

  • โค้ดของโมเดลเองเป็นเพียงส่วนเล็ก ๆ ของความท้าทาย

    • คอมพิวต์สำหรับการฝึกและข้อมูลฝึกเป็นส่วนที่ใหญ่กว่ามาก
    • Google น่าจะเข้าถึงคอมพิวต์สำหรับการฝึกในสเกลที่ใหญ่กว่าคนอื่นแทบทั้งหมด

  • เคยมีประสบการณ์สั้น ๆ กับ computational proteomics

    • สาขานี้สุดยอดจริง ๆ

  • ใครจะคิดว่าการเผยแพร่แค่ pseudocode จะไม่เพียงพอ

    • ดีใจที่ได้เห็นระบบภูมิคุ้มกันทางวิทยาศาสตร์ที่ลุกขึ้นมาต่อสู้กับวิทยาศาสตร์แบบปิด
    • สงสัยว่าก้าวต่อไปของ Google จะเป็นอะไร

  • สงสัยว่าคุ้นเคยกับ ColabFold หรือไม่

  • สงสัยว่าขั้นต่อไปคืออะไร

    • สงสัยว่าทำไมจึงตัดสินใจมุ่งเน้นไปที่การออกแบบเอนไซม์