- ฟอร์แมตไฟล์ที่อิงกับ SQLite DB ทำให้ข้อมูลที่ครอลจากเว็บสามารถถูกคิวรีด้วย SQL ได้ง่าย
- สามารถ import ไฟล์มาตรฐาน Web ARChive (.warc) ที่ใช้ใน
wget และ WebRecorder เป็นต้น มาเป็น .warcdb ได้
- ใช้คำสั่ง
sqlite-utils ได้ตามเดิม
wget --warc-file tselai "https://tselai.com";
warcdb import archive.warcdb tselai.warc.gz
// ดึง response header ทั้งหมด
sqlite3 archive.warcdb <<SQL
select json_extract(h.value, '$.header') as header,
json_extract(h.value, '$.value') as value
from response,
json_each(http_headers) h
SQL
ยังไม่มีความคิดเห็น