โครงการ ArchiveTeam Warrior

 (warrior.archiveteam.org)
1 คะแนน โดย GN⁺ 2024-08-04 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ArchiveTeam Warrior เป็นเครื่องมือเก็บถาวรแบบเสมือนที่ช่วยให้เข้าร่วมงานของ ArchiveTeam เพื่อเก็บรักษาข้อมูลเว็บที่อาจสูญหายได้ด้วยทรัพยากรส่วนเกินจากคอมพิวเตอร์ส่วนบุคคล
  • Warrior จะดาวน์โหลดข้อมูลของเว็บไซต์และอัปโหลดไปยังคลังเก็บถาวรของ ArchiveTeam โดยผู้ใช้จะให้ทรัพยากรหลักคือ แบนด์วิดท์ และพื้นที่ดิสก์บางส่วน
  • สามารถใช้งานได้บน Windows, OS X, Linux และสภาพแวดล้อมที่แนะนำคือ VirtualBox แต่ก็สามารถใช้ VMware หรือโปรแกรมเครื่องเสมือนลักษณะใกล้เคียงกันได้
  • ใน VirtualBox ให้นำเข้า appliance แล้วเริ่มเครื่องเสมือน จากนั้นตั้งค่าชื่อผู้ใช้และโครงการที่จะเข้าร่วมผ่านเบราว์เซอร์
  • appliance เครื่องเสมือนรุ่นล่าสุดคือ version 4.1 และสามารถรันโครงการผ่าน Docker warrior instance แทน VM ได้เช่นกัน

ArchiveTeam Warrior ทำอะไร

  • ArchiveTeam Warrior เป็นเครื่องมือแบบเครื่องเสมือนสำหรับเข้าร่วมงานเก็บถาวรเว็บของ ArchiveTeam
    • ดาวน์โหลดข้อมูลเว็บไซต์และอัปโหลดไปยังคลังเก็บถาวรของ ArchiveTeam
    • ขั้นตอนการใช้งานถูกออกแบบให้เข้าร่วมได้ง่าย
  • Warrior ทำงานในรูปแบบ เครื่องเสมือน โดยผู้ใช้จะให้แบนด์วิดท์และพื้นที่ดิสก์บางส่วน
  • รองรับสภาพแวดล้อม Windows, OS X, Linux
    • แนะนำให้ใช้ VirtualBox
    • สามารถใช้ VMware หรือโปรแกรมลักษณะใกล้เคียงกันได้

ขั้นตอนการติดตั้งและเข้าร่วม

  • เริ่มต้นด้วย VirtualBox

    • ดาวน์โหลดไฟล์ appliance
    • ใน VirtualBox ให้เลือก File > Import Appliance แล้วเปิดไฟล์ดังกล่าว
    • เมื่อเริ่มเครื่องเสมือน ระบบจะดึงอัปเดตล่าสุด และหลังจากนั้นจะแจ้งให้เปิดเว็บเบราว์เซอร์

  • การตั้งค่า Warrior

    • เข้าไปที่ http://localhost:8001/ เพื่อตรวจสอบหน้า Settings
    • เมื่อเลือกชื่อผู้ใช้แล้ว ความคืบหน้าจะถูกแสดงบน leaderboard
    • ในแท็บ All projects สามารถเลือกโครงการที่จะทำงาน หรือเลือก ArchiveTeam’s Choice เพื่อให้ระบบมอบหมายโครงการที่เร่งด่วนที่สุดโดยอัตโนมัติ

  • เวอร์ชันล่าสุดและทางเลือก Docker

    • appliance เครื่องเสมือนของ Warrior ได้อัปเดตเป็น version 4.1 แล้ว และลิงก์ appliance ของ warrior3 เดิมเป็นลิงก์เก่า
    • สามารถรันโครงการด้วย Docker warrior instance ได้โดยไม่ต้องใช้ VM appliance และดูรายละเอียดเพิ่มเติมได้ใน README ของ GitHub repository
    • ปัญหาหรือข้อเสนอแนะจะพูดคุยกันในช่อง #warrior ของ hackint
    • สามารถอ่าน Frequently Asked Questions ได้

การสนับสนุน ArchiveTeam และ Internet Archive

  • Internet Archive เป็นผู้โฮสต์คลังเก็บถาวรของ ArchiveTeam และนอกจากเก็บข้อมูลแล้ว ยังดูแลไลบรารีที่ทุกคนเข้าถึงได้ฟรี
    • สามารถบริจาคได้ที่ Donate to the Internet Archive
    • หากต้องการให้ยืมเซิร์ฟเวอร์สำหรับ ArchiveBot, rsync server หรือบริจาคให้สมาชิก ArchiveTeam ให้สอบถามในห้องแชต IRC ที่เหมาะสม

โครงการที่เข้าร่วมได้

  • โครงการปัจจุบันประกอบด้วย URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange, Periscope
    • โครงการ YouTube จะเก็บถาวรวิดีโอ YouTube ที่ถูกเลือกไว้ และมีคำเตือนว่า IP address จะถูกบันทึกไว้ กับ URL ของวิดีโอ
    • โครงการ GitHub ดำเนินการร่วมกับ Internet Archive และ GitHub
    • โครงการ Periscope อยู่ในสถานะ PAUSED

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-08-04
ความคิดเห็นบน Hacker News

  • โปรเจกต์แบบนี้จำเป็นอย่างยิ่ง แต่ต้องมีวิธีที่ทำให้สาธารณชนใช้ข้อมูลนั้นได้จริง ไม่ใช่แค่ เก็บรักษา ไว้เฉย ๆ
    Reddit คงไม่ได้รู้สึกว่าแค่มีคนดึงข้อมูลไปทำแบ็กอัปที่เข้าถึงยากเป็นภัยคุกคามนัก แต่ถ้ามี เครือข่ายโหนดแบบกระจายศูนย์ ที่รันสำเนาบางส่วนของ Reddit และป้อนข้อมูลให้ไคลเอนต์แบบ local-first หรือมิเรอร์ Lemmy ก็คงทำให้ Reddit กลัวมากกว่านั้นมาก

    • อ้างอิง: Archive Team เป็นคนละหน่วยงานกับ Internet Archive
    • Reddit ค่อนข้างไม่ชอบบริการที่มิเรอร์ข้อมูลแล้วเปิดเผยต่อสาธารณะ และสุดท้ายก็เปลี่ยน เงื่อนไขการใช้งาน API จนทำให้บริการเหล่านั้นต้องลบข้อมูลและปิดตัวลง
    • ไม่แน่ใจว่าการคุกคามบริษัทที่สามารถเปลี่ยน API ได้ทุกเมื่อเป็นข้อดีตรงไหนในที่นี้
      ดู PushShift, Nitter, Youtube Vanced ก็ได้
    • เราอาจฝันถึง อินเทอร์เน็ต P2P แบบออฟไลน์ก่อนและใช้งานชั่วคราว ที่ทำให้ BGP กลายเป็นของล้าสมัย และใช้หน่วยความจำสำหรับระบุที่อยู่ของคอนเทนต์/การคำนวณร่วมที่ถูก memoize ไว้ทั่วโลกผ่าน DHT/เครื่องเสมือน
      อัตลักษณ์ของบางสิ่งจะเป็นองค์ประกอบของมันเอง

  • บทความที่เกี่ยวข้อง:
    ArchiveTeam Warrior: เก็บรักษา imgur ให้ได้มากที่สุด - https://news.ycombinator.com/item?id=35983510 - พฤษภาคม 2023, 2 ความคิดเห็น
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - มีนาคม 2022, 51 ความคิดเห็น
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - ธันวาคม 2021, 71 ความคิดเห็น

  • คิดว่าน่าจะรันด้วย Docker ได้ เลยลองไปค้น repository ดู และก็ดีใจที่ทุกอย่างเตรียมไว้พร้อมแล้ว
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • ตั้งค่าง่ายมาก
    พอแพ็กเกจอินเทอร์เน็ตกลายเป็นแบบ ไม่จำกัด แล้ว ก็รู้สึกดีที่ได้มีส่วนร่วมแม้จะเป็นวิธีเล็ก ๆ
    เคยลองดูว่าจะรันสคริปต์ ArchiveTeam Warrior บนโทรศัพท์ Android ที่ไม่ได้ใช้แล้วได้ไหม แต่ไม่ได้รองรับโดยตรง และเกินความสามารถของผม

    • การรันเป็น คอนเทนเนอร์ docker compose บนเครื่อง x86 นั้นง่ายจริง ๆ
      ถ้ามีเวลาหาวิธีตั้งค่าบน Raspberry Pi ภายใน QEMU ก็คงดี และถ้ามีไฟล์ compose แบบนั้นเผยแพร่ต่อสาธารณะ ก็น่าจะมีคนใช้ได้มากขึ้น

  • เมื่อไม่กี่เดือนก่อน ผมออกแบบระบบที่ให้ผู้คนบริจาค พื้นที่ดิสก์ ให้บริการอย่าง archive.org ได้
    ถ้าบอกว่า “อยากโฮสต์เนื้อหาของ archive.org 100GB” ระบบก็จะสื่อสารกับ archive.org เพื่อหาเนื้อหาที่หายากที่สุดในตอนนั้นแล้วส่งไปให้ผู้ใช้
    และยังมีฟังก์ชันค้นหาที่ช่วยหาให้เมื่อบอกว่า “อยากรับเนื้อหา X จากเครือข่ายนี้”
    โดยรวมใกล้เคียงกับแรปเปอร์บาง ๆ ที่ครอบอยู่บน torrent แต่ตอนนี้ยังไม่มีสิ่งแบบนี้ และตอนติดต่อคนในวงการอาร์ไคฟ์ไป ก็ไม่ได้รับความสนใจมากนัก

    • เดิมที IPFS ไม่ได้ตั้งใจจะทำหน้าที่นั้นอยู่แล้วเหรอ?
    • ที่ Archive Team เคยมีโปรเจกต์ที่หยุดไปแล้วชื่อ INTERNETARCHIVE.BAK ซึ่งแทบจะเหมือนแนวคิดนี้
      แต่ถ้าใช้เครื่องมือนี้ ก็จะผิดกฎหมายเพราะละเมิดลิขสิทธิ์
    • libgen มี tracker แนวนี้สำหรับหนังสือ: https://phillm.net/libgen-seeds-needed.php
      ตอนนี้ดูเหมือนจะพังแล้ว
    • คงจะดีถ้าหนึ่งใน file coin แก้ปัญหานี้ได้
      แค่โฮสต์ บล็อกข้อมูล โดยจ่ายค่าธรรมเนียมตามระยะเวลาคงที่และจำนวนครั้งดาวน์โหลดคงที่ก็พอ
    • เป็นไอเดียที่ดีจริง ๆ เลยสงสัยว่าทำไมถึงไม่รับไว้
      เขาได้บอกเหตุผลไหม?

  • ถ้าอยากมีส่วนร่วมกับ การอนุรักษ์ดิจิทัล ก็น่าพิจารณาการรัน Warrior appliance หรือคอนเทนเนอร์ Docker

  • ผมยังไม่ค่อยเห็นข้อดีของวิธีที่ให้ผู้คนดาวน์โหลดไซต์ลงมา แล้วอัปโหลดด้วยการตั้งค่าอาร์ไคฟ์ที่ Archive Team เตรียมไว้
    มันดีกว่า Archive Team ดาวน์โหลดไซต์เองแล้วใส่เข้าอาร์ไคฟ์ของตัวเองตรงไหน?

    • A) ใช้ทรัพยากรฝั่ง Archive Team น้อยลง
      B) และที่น่าจะสำคัญกว่าคือ คำขอถูกกระจายให้มาจากหลายที่ จึงมีโอกาสน้อยลงที่จะโดน จำกัดความเร็ว หรือถูกบล็อก
    • Archive Team ไม่ใช่ Internet Archive
      ก่อนจะผลักขึ้น archive.org ต้องมีที่สักแห่งสำหรับดาวน์โหลดเก็บไว้ก่อน

  • ผมสงสัยว่าโปรเจกต์นี้จะป้องกันได้อย่างไร หากผมในฐานะผู้โจมตีใส่ข้อมูลขยะสุ่ม ๆ เข้าไป หรือแก้ไขหน้าเว็บที่ดาวน์โหลดมาให้ผิดเพี้ยนไปในรูปแบบเฉพาะ
    ใน HTTP ดูเหมือนจะเป็นไปไม่ได้ แล้วใน HTTPS ใครเป็นคนทำ TLS termination?
    ถ้า Warrior เป็นเพียง TCP proxy และ Archive เป็น TLS client ก็อาจปลอดภัยได้ แต่ใน https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior ดูเหมือนจะไม่ได้อธิบายส่วนนั้นไว้อย่างชัดเจน

    • ไม่ได้ป้องกัน แต่ในทางปฏิบัติไม่ใช่ปัญหา
      เป้าหมายคือการเก็บข้อมูลให้ได้มากที่สุดภายในเวลาที่สั้นที่สุด ก่อนที่ไซต์จะปิดตัวลง
      มองว่ามีข้อมูลขยะปนมา 1% ยังดีกว่าเสียประสิทธิภาพในการเก็บถาวรไป 30% เพราะความระแวงเกินเหตุ
      สำหรับ HTTPS นั้น Warrior จะรัน wget ตามตัวอักษร บันทึกเป็นไฟล์ WARC แล้วอัปโหลดไฟล์นั้นไปยังเซิร์ฟเวอร์ติดตาม

  • อยากช่วยด้วย Raspberry Pi แต่การ ไม่รองรับ ARM ค่อนข้างไม่สะดวก
    แค่อยากดาวน์โหลดคอนเทนเนอร์มารันแล้วจบ แต่ไม่มีวิธีอ้อมง่าย ๆ: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • ถ้าคอมไพล์ wget-at สำหรับ ARM จะมี ปัญหาความสอดคล้อง อยู่บางอย่าง
      ถึงอย่างนั้นก็สามารถรันภายใต้ QEMU user-mode emulation ได้ และจริง ๆ แล้วก็มีบางโฮสต์ใช้งานแบบนั้นอยู่

  • อ่าน README แล้วพบคำแนะนำดังนี้
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    ที่นี่มี README ซึ่งมีลิงก์ซอร์สของเวอร์ชันใหม่: https://github.com/ArchiveTeam/warrior4-vm
    เวอร์ชันใหม่นี้ยังถูกกล่าวถึงในหน้าแรกของวิกิด้วย
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeam ควรอัปเดต URL ดาวน์โหลด appliance