AV1@Scale: การตื่นรู้ของ Film Grain Synthesis
(netflixtechblog.com)- Netflix ขยายสตรีม Film Grain Synthesis(FGS) ของ AV1 ไปทั่วโลก เพื่อลดการใช้ข้อมูลสตรีมมิงพร้อมคงพื้นผิวของฟิล์มเกรนไว้
- FGS ไม่ได้บีบอัดเกรนโดยตรง แต่ส่งวิดีโอที่ลบเกรนออกแล้วพร้อม พารามิเตอร์โมเดลเกรน จากนั้นสังเคราะห์กลับเป็นบล็อก ๆ ณ เวลาที่เล่น
- ในตัวอย่าง They Cloned Tyrone เมื่อเทียบกับ AV1 ทั่วไปที่ 8274 kbps, AV1 FGS อยู่ที่ 2804 kbps แสดงให้เห็นการลดบิตเรตประมาณ 66% ในฉากที่มีฟิล์มเกรนหนัก
- จากการประเมินไตเติลประมาณ 300 รายการ ความละเอียด 1080p ขึ้นไปมีบิตเรตเฉลี่ยลดลง 36% แต่ต่ำกว่า 1080p ได้ผลเพียงราว 10% เพราะการ downscale ทำให้ noise ลดลง
- ในการทดสอบ A/B ก่อน rollout พบว่าบิตเรตเริ่มต้นลดลง 24%, บิตเรตเฉลี่ยลดลง 31.6%, rebuffering ลดลง 10%, เวลาเริ่มเล่นลดลง 10% และกำลังนำไปใช้ในวงกว้างกับอุปกรณ์ที่รองรับตั้งแต่เดือนมีนาคม 2025
การขยาย AV1 Film Grain Synthesis ของ Netflix
- Netflix เพิ่งขยายการใช้สตรีม AV1 Film Grain Synthesis(FGS) ไปยังสมาชิกทั่วโลก
- FGS ถูกรวมอยู่ในมาตรฐาน AV1 ตั้งแต่ช่วงแรก แต่ตอนที่ Netflix เปิดตัวโค้ดेक AV1 ครั้งแรกในปี 2021 ได้เปิดใช้กับไตเติลจำนวนจำกัดเท่านั้น
- เป้าหมายของการขยายครั้งนี้คือเพิ่มประสิทธิภาพการใช้ข้อมูล พร้อมรักษา ความสมบูรณ์ทางศิลปะ ของฟิล์มเกรน
- ฟิล์มเกรนเป็นองค์ประกอบที่สร้างพื้นผิว ความสมจริง และกลิ่นอายย้อนยุคให้กับภาพยนตร์คลาสสิก แต่มีความสุ่มสูง ทำให้การบีบอัดแบบเดิมต้องประนีประนอมระหว่างการลดขนาดไฟล์กับการคงเกรนไว้
- วิดีโอดิจิทัลเองก็มี noise จากเซนเซอร์กล้องหรือเกรนที่ตั้งใจเพิ่มในขั้นตอน post-production ทำให้การบีบอัดจัดการได้ยากขึ้น
วิธีที่ AV1 FGS จัดการกับเกรน
- AV1 FGS ไม่ได้บีบอัดเกรนโดยตรง แต่จะเข้ารหัส denoised video ซึ่งเป็นวิดีโอที่ลบเกรนออกจากต้นฉบับก่อน
- พารามิเตอร์ที่โมเดลรูปร่างและความเข้มของเกรนจะถูกส่งไปพร้อมข้อมูลวิดีโอที่บีบอัด แล้วสังเคราะห์กลับระหว่างการเล่น
- มาตรฐาน AV1 ไม่ได้กำหนดวิธีลบเกรนโดยเฉพาะ จึงให้ผู้ใช้เลือก denoiser ที่ต้องการได้
- ในขั้นตอนเล่น จะกู้คืนฟิล์มเกรนด้วย วิธีแบบอิงบล็อก ที่ปรับให้ทำงานได้ลื่นไหลบนอุปกรณ์ผู้บริโภค
- ดูคำอธิบายเพิ่มเติมได้ใน 论文ต้นฉบับ
โมเดลแพตเทิร์นและความเข้มของเกรน
-
Film Grain Pattern
- โมเดล auto-regressive จะจำลองแพตเทิร์นของฟิล์มเกรน
- พารามิเตอร์หลักคือค่าสัมประสิทธิ์ AR ซึ่งสามารถประเมินได้จาก residual ระหว่างวิดีโอต้นฉบับกับ denoised video
- โมเดลนี้จับความสัมพันธ์เชิงพื้นที่ระหว่างตัวอย่างเกรน เพื่อคงลักษณะ noise ของต้นฉบับไว้
- การปรับค่าสัมประสิทธิ์ AR
{ai}จะทำให้รูปร่างของเกรนหยาบขึ้นหรือละเอียดขึ้นได้ - ใช้ค่าสัมประสิทธิ์นี้สร้าง เทมเพลต noise ขนาด 64x64 และระหว่างการเล่นจะสุ่มดึง แพตช์ 32x32 มาเพิ่มลงในวิดีโอที่ถอดรหัสแล้ว
-
Film Grain Intensity
- ฟังก์ชัน scaling ควบคุมรูปลักษณ์ของเกรนตามสภาพความสว่าง
- ฟังก์ชันนี้ถูกประเมินระหว่างการเข้ารหัส และโมเดลความสัมพันธ์ระหว่างค่าพิกเซลกับความแรงของ noise เป็น ฟังก์ชันเชิงเส้นแบบแบ่งช่วง
- ปรับความเข้มของเกรนตามความสว่างและสีของวิดีโอ เพื่อสร้างภาพให้ใกล้เคียงต้นฉบับมากขึ้น
การปรับปรุงคุณภาพภาพและการลดบิตเรต
- Netflix เปรียบเทียบ AV1 ทั่วไปกับ AV1 FGS โดยใช้เฟรมหนึ่งจาก They Cloned Tyrone เป็นตัวอย่าง
- AV1 ทั่วไปอยู่ที่ 8274 kbps ส่วน AV1 FGS อยู่ที่ 2804 kbps แสดงการลดบิตเรตประมาณ 66%
- ในตัวอย่างที่มีฟิล์มเกรนหนักนี้ AV1 ทั่วไปอาจเกิด noise ที่ผิดเพี้ยนเป็นแพตเทิร์นคล้าย DCT แต่เวอร์ชัน FGS รักษาความสมบูรณ์ของฟิล์มเกรนไว้ได้แม้ใช้บิตเรตต่ำกว่า
- noise ที่สังเคราะห์ขึ้นสามารถ mask compression artifacts ทำให้ประสบการณ์ด้านภาพดีขึ้น
- ในสตรีม AV1 ทั่วไปและสตรีม AV1 FGS ที่ไม่มี noise สังเคราะห์ จะเห็น compression artifacts
- สตรีม AV1 FGS ที่ใช้การสังเคราะห์เกรนจะซ่อน compression artifacts บางส่วนผ่าน contrast masking ของระบบการมองเห็นมนุษย์
ข้อจำกัดของการวัดคุณภาพและการประเมินแค็ตตาล็อก
- ปัจจุบัน Netflix ยังไม่มี โมเดลคุณภาพ เฉพาะสำหรับ film grain synthesis
- เนื่องจาก noise ในวิดีโอต้นฉบับและวิดีโอที่ถอดรหัสแล้วปรากฏคนละตำแหน่งพิกเซล วิธีเปรียบเทียบระดับพิกเซลอย่าง PSNR หรือ VMAF อาจให้คะแนนคุณภาพต่ำ
- การประเมินภายในยืนยันได้ถึงการปรับปรุงคุณภาพเชิงภาพและคุณค่าทางเทคนิค
- เลือกไตเติลประมาณ 300 รายการ ที่มีระดับเกรนหลากหลาย เพื่อประเมินผลของ AV1 FGS
- ที่ความละเอียด 1080p ขึ้นไป บิตเรตเฉลี่ยลดลง 36%
- ที่ความละเอียดต่ำกว่า 1080p การลดบิตเรตอยู่ที่ประมาณ 10% เท่านั้น
- สาเหตุที่ได้ผลน้อยในความละเอียดต่ำอาจเป็นเพราะ noise ถูกกรองออกระหว่างกระบวนการ downscale
- เมื่อเปิดใช้เครื่องมือโค้ด FGS จะมี syntax overhead เพิ่มเข้าไปใน bitstream อย่างต่อเนื่อง
ผลกระทบต่อสตรีมมิงที่สังเกตได้จากการทดสอบ A/B
- Netflix ประเมินผลกระทบของการเปิดใช้ AV1 FGS ต่อการสตรีมโดยรวมด้วยการทดสอบ A/B ก่อน rollout
- ผลการทดสอบนำไปสู่ QoE ที่ลื่นไหลและเสถียรกว่า
- การปรับปรุงที่สังเกตได้มีดังนี้
- บิตเรตเมื่อเริ่มเล่นลดลง 24% และบิตเรตเฉลี่ยลดลง 31.6% ลดความต้องการแบนด์วิดท์เครือข่ายและความจำเป็นในการเก็บสตรีมดาวน์โหลด
- อัตราข้อผิดพลาดในการเล่นลดลงประมาณ 3%
- จำนวนครั้งของ rebuffering ลดลง 10% และระยะเวลา rebuffering ลดลง 5%
- เวลาเริ่มเล่นลดลง 10% ซึ่งอาจเป็นเพราะบิตเรตที่ต่ำลงทำให้อุปกรณ์ไปถึงระดับบัฟเฟอร์เป้าหมายได้เร็วขึ้น
- การลดลงของบิตเรตที่สังเกตเห็นได้ลดลง 10% และเวลาที่ผู้ใช้ปรับตำแหน่งการเล่นก็ลดลง 10%
- บนอุปกรณ์ที่รองรับ 4K เวลารับชมประมาณ 0.7% ย้ายจาก 1080p หรือต่ำกว่าไปเป็น 2160p
- การย้ายความละเอียดนี้เกิดจากบิตเรตที่ลดลง ณ จุดเปลี่ยน ทำให้ไปถึงความละเอียดสูงสุดระหว่างเซสชันได้ง่ายขึ้น
สถานะ rollout และแผนถัดไป
- Netflix rollout FGS ในวงกว้างมาตั้งแต่เดือนมีนาคม 2025 และปัจจุบันผู้ใช้จำนวนมากสามารถดูสตรีมที่เปิดใช้ FGS บนอุปกรณ์ที่รองรับได้
- ตัวอย่างสำหรับลองรับชมสตรีม FGS ได้แก่ The Hot Spot, Kung Fu Cult Master, Initial D, God of Gamblers II, Baahubali 2: The Conclusion, Dept. Q
- ในบางไตเติล อาจต้อง ปิด HDR ในเมนูการตั้งค่าเพื่อสัมผัสสตรีม FGS ใหม่โดยตรง
- บทความถัดไปจะกล่าวถึงวิธีที่ Netflix นำงานนี้ไปใช้ใน pipeline การเข้ารหัสวิดีโอ และ insight ที่ได้รับ
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ประเด็นที่ถูกมองข้ามคือ noise ที่สังเคราะห์ขึ้นอาจไม่สามารถเก็บ รายละเอียดและข้อมูล ที่มีอยู่ใน noise ต้นฉบับได้
ถ้าดูงาน encode คุณภาพสูงที่มี noise จริงอยู่ด้วย จะเห็นว่าความละเอียดเพิ่มขึ้นอย่างน่าทึ่งเมื่อเปลี่ยนจากภาพนิ่งไปเป็นวิดีโอ noise ดูเหมือนเต้นอยู่บนสัญญาณ และที่ 24fps สัญญาณด้านหลังก็ยังดูคมชัดอยู่
ตรงกันข้าม ถ้าทิ้ง noise ไปทีละเฟรมภาพนิ่ง แล้วใส่ noise เทียมที่ดูคล้ายกันในเชิง “สุนทรียะ” กลับเข้าไป รายละเอียดเดิมจะกู้คืนไม่ได้ และเมื่อดูที่ 24fps ภาพจะพร่ามัวกว่าโดยพื้นฐาน ในหนังเก่าที่มี noise เยอะ ความต่างของรายละเอียดอาจมากถึง 2 เท่า
ถ้า H.265 หรือ AV1 มองหลายเฟรมก่อนหน้าและถัดไปพร้อมกันโดยคำนึงถึงการเคลื่อนไหว แล้วสร้างเฟรมที่ “ลบ noise” ในทางทฤษฎีก็อาจค้นหาและ encode สัญญาณของรายละเอียดทั้งหมดตามแกนเวลาได้ แต่ไม่รู้ว่าในทางปฏิบัติทำแบบนั้นจริงหรือเปล่า ถ้าผมเข้าใจผิดก็อยากรู้
ใจความสำคัญคือไม่ควรเปรียบเทียบการลบ noise กับการสังเคราะห์ด้วยภาพนิ่ง ต้องเปรียบเทียบวิดีโอจริงแบบวางข้างกัน จึงจะเห็นว่ารายละเอียดถูกทิ้งหรือถูกรักษาไว้ noise ไม่ใช่แค่ noise แต่ยังเป็น รายละเอียดด้วย
ในแง่สุนทรียะ grain ที่สังเคราะห์ของ AV1 ดูเหมือนจะไม่คำนึงถึงขนาดเม็ดเกรนของวิดีโอต้นฉบับ ดังนั้น grain หนา ๆ จากผลึกซิลเวอร์เฮไลด์ขนาดใหญ่ในฟิล์มเก่า อาจกลายเป็น grain ละเอียดในการสังเคราะห์จนดูไม่เป็นธรรมชาติ ตัวลบ noise ฟิล์มที่ดีอาจช่วยบรรเทาเรื่องนี้ได้
อีกอย่างคือมันไม่ได้จำลององค์ประกอบสีที่แยกกันของฟิล์มอย่างถูกต้องนัก แต่แหล่งวิดีโอของ Netflix มักถูกทำ chroma subsampling มาตั้งแต่แรก จึงว่ากันว่าไม่ใช่ปัญหาใหญ่: https://norkin.org/pdf/DCC_2018_AV1_film_grain.pdf
ผมแค่อ่านเรื่องนี้แบบผ่าน ๆ จึงอาจผิดก็ได้
ถ้าจะอธิบายมิติด้านเวลา ให้นึกถึงเครื่องฉายฟิล์มแบบดั้งเดิม ระหว่างเฟรมแต่ละเฟรม เราจะเห็นความมืดสนิทเป็นช่วงเวลาสั้นมาก ๆ จะเรียกความมืดนั้นว่า “noise” ก็ได้ และถ้าค้างอยู่ที่ช่วงเวลานั้น ก็จะไม่เห็นสัญญาณเดิมเลย
แต่ระบบการมองเห็นของเราทำการเฉลี่ยตามเวลาในระดับหนึ่ง จึงแทบไม่สังเกตเห็นการกะพริบนั้น(https://en.wikipedia.org/wiki/Flicker_fusion_threshold) noise และ grain ก็ดูเหมือนถูกรับรู้ในลักษณะคล้ายกัน คือโดดเด่นน้อยกว่าส่วนของสัญญาณ/ภาพที่เสถียร
เหมือนที่นักถ่ายภาพดาราศาสตร์ซ้อนภาพที่มี noise มากหลายภาพเพื่อให้ได้ภาพที่มีอัตราส่วนสัญญาณต่อ noise สูงขึ้น ผมคิดว่าสมองก็ทำอะไรทำนองนั้นในระดับหนึ่ง ไม่ได้หมายความว่าสร้างรายละเอียดที่ไม่มีอยู่ขึ้นมาแบบหลอนภาพ แต่หมายถึง noise ที่ถูกบันทึกไว้จะกลับเข้าหาค่าเฉลี่ยตามเวลา และค่าเฉลี่ยนั้นแสดงสัญญาณจริงได้ชัดขึ้น แน่นอนว่าไม่สมบูรณ์เพราะมี noise เชิงระบบ/ไม่สุ่ม แต่โดยมากแล้วมีความสำคัญน้อยกว่า
อัลกอริทึมลบ noise ที่ประมวลผลเฉพาะเฟรมเดี่ยวจะไม่มีบริบทนี้ จึงมักสูญเสียรายละเอียดหรือพยายามแก้ด้วยการเดา AV1 ไม่ได้บังคับอัลกอริทึมเฉพาะ ดังนั้นในทางทฤษฎี อัลกอริทึมที่ฉลาดอาจใช้ บริบทตามเวลา เพื่อรักษารายละเอียดเพิ่มเติมได้
ถ้าเฉลี่ยเฟรมคงที่หลาย ๆ เฟรม สัญญาณที่ไม่เปลี่ยนจะคงอยู่ ส่วน noise แบบสุ่มจะหักล้างกัน ทำให้อัตราส่วนสัญญาณต่อ noise ดีขึ้น การรักษา noise เอาไว้เองไม่ได้มีประโยชน์
เอฟเฟกต์ที่เห็นอาจเป็นความชอบเชิงสุนทรียะต่อพฤติกรรมของ grain ต้นฉบับ หรืออาจเกิดจากการเปรียบเทียบคอนเทนต์แบนด์วิดท์ต่ำที่มี artifact จากการบีบอัดรุนแรง เช่น การทำให้เรียบ/การกรองความถี่ต่ำ กับเวอร์ชันแบนด์วิดท์สูงที่รักษารายละเอียดโดยรวมไว้ เรื่องนี้แยกจาก grain ที่ใส่ทับด้านบน
คุณค่าของการเพิ่มนอยส์นั้นอาจถกเถียงกันได้ในเชิงปรัชญา แต่ปัญหาของตัวอย่างนี้คือกระบวนการลดนอยส์ทำให้ทุกอย่างเบลอเกินไป จนทั้งภาพที่ลดนอยส์แล้วและภาพที่สังเคราะห์เกรนต่างก็ดูคมชัดน้อยกว่าต้นฉบับอย่างเห็นได้ชัด
ตัวเกรนเองก็ดูเหมือนนอยส์พื้นฐานมากเกินไป ไม่เหมือน ฟิล์มเกรน จริง ๆ
ผลคือเกรนต้นฉบับ “กระจาย” ไปเป็นพื้นที่กว้างขึ้นจนดูขุ่นมัว และระหว่างพยายามเข้ารหัสเกรนที่คม ก็สูญเสียความคมชัดของฉากจริงไปด้วย
การสังเคราะห์ฟิล์มเกรนจึงสมเหตุสมผลสำหรับสตรีมมิงที่มีแบนด์วิดท์จำกัด แต่ก็เห็นด้วยว่าการสังเคราะห์เกรนในตัวอย่างนี้ดูไม่ค่อยเหมือนเกรนเท่าไร และรายละเอียดของฉากอาจเบลอได้ ขึ้นอยู่กับปริมาณและวิธีลดนอยส์
คงจะดีถ้ามีตัวเลือกให้เปิดปิด การจำลองฟิล์ม ได้
The Holdovers ซึ่งเป็นหนึ่งในหนังที่ผมชอบที่สุด ทำการจำลองฟิล์มได้ดีมาก เพราะเรื่องตั้งอยู่ในยุค 70 จึงพยายามทำให้ดูเหมือนภาพยนตร์ในยุคนั้น
สำหรับตาผมถือว่ายอดเยี่ยม แต่ถ้าเป็นคนคลั่งฟิล์มจริง ๆ ก็น่าจะจับจุดที่ไม่แม่นยำได้หลายอย่าง
ในอนาคตอันใกล้ Netflix อาจประมวลผลเอฟเฟกต์หลังการผลิตบางส่วนที่ฝั่งไคลเอนต์ก็ได้ เช่น ถ้ามีภาวะการมองเห็นสีผิดปกติก็ใช้โหมดที่เหมาะสม หรือถ้าไม่ชอบเกรนปลอมก็ปิดไป
มีข้อควรระวังอยู่หลายอย่าง
เฟรมหยุดนิ่งไม่ใช่วิธีที่ดีนักสำหรับประเมินคุณภาพวิดีโอ
แม้แต่ฟิลเตอร์ลดนอยส์ที่สมบูรณ์แบบในทางทฤษฎี[1] ก็จะดูมีรายละเอียดน้อยกว่าซอร์สต้นฉบับเสมอ เพราะระบบสมอง/ดวงตาจะสร้างรายละเอียดจากภาพที่มีนอยส์ได้มากกว่าภาพที่พร่ามัว
[1] คำว่าสมบูรณ์แบบในที่นี้หมายถึงการรักษารายละเอียดที่ไม่ใช่เกรนไว้ได้ 100% ไม่ได้หมายถึงการกู้รายละเอียดที่สูญหายเพราะนอยส์กลับมาอย่างมหัศจรรย์
เป็นโบนัสคือ ผู้ชมจำนวนมากน่าจะยินดีกับตัวเลือกที่ปิดได้
เรื่องจริง ๆ ตรงนี้คือส่วน “การนำไปใช้ในวงกว้าง” การสังเคราะห์ฟิล์มเกรนมีอยู่ในเอนโค้ดเดอร์ AV1 ทั่วไปมาระยะหนึ่งแล้ว แต่เพื่อหลีกเลี่ยงปัญหา จำเป็นต้องปรับแต่งด้วยมือในระดับหนึ่ง
ดังนั้นในสภาพแวดล้อมการผลิต จึงถูกใช้เฉพาะกับแค็ตตาล็อกที่จำกัดมาก หรือกับไตเติลที่มีความสำคัญเป็นพิเศษเท่านั้น ตรงนี้ไม่ได้เปิดเผยรายละเอียดว่าพวกเขาก้าวข้ามปัญหานั้นได้อย่างไร แต่การที่มันถูกเผยแพร่กว้างขึ้นก็เป็นเรื่องน่ายินดี
ถ้าพูดถึงฝ่ายที่ไม่ชอบเกรน ทุกอย่างย่อมมีนอยส์หรือเกรนอยู่ตามธรรมชาติในระดับหนึ่ง แม้แต่เซ็นเซอร์ดิจิทัลที่ดีที่สุดก็มี และแม้แต่ดวงตาก็มี
มันมีประโยชน์มากกว่าการเป็นแค่เอฟเฟกต์ด้านสุนทรียะธรรมดา เพราะมีแนวโน้มช่วยเพิ่มความคมชัดที่รับรู้ได้ และซ่อนข้อบกพร่องอย่าง color banding หรืออาร์ติแฟกต์จากการบีบอัด
แต่นั่นไม่ได้หมายความว่านอยส์และเกรนทุกแบบจะดีเสมอไป มันอาจหลีกเลี่ยงไม่ได้เพราะข้อจำกัดทางเทคนิค อาจเป็นผลจากการตัดสินใจเชิงสร้างสรรค์ที่แย่ หรืออาจรบกวนสมาธิได้
แต่ผมคิดว่าทางเลือกอย่างการลดนอยส์ใส่ทุกอย่างนั้นแย่กว่ามาก ทุกวันนี้กล้องจำนวนมากทำแบบนั้นเป็นค่าเริ่มต้น และสำหรับตาผม การทำให้เรียบ ที่เกิดจากการลดนอยส์มักดูไม่สมจริงและรบกวนสายตามากกว่าเยอะ
ผมไม่เข้าใจคำว่า “เกรน = ความสมจริง” เพราะตาผมจริง ๆ ไม่มีเกรน
แต่ยอมรับว่าเกรนมีบทบาทในฐานะ เครื่องมือทางศิลปะ ดังนั้นตัวเทคโนโลยีนี้ก็ยังน่าสนใจอยู่
ถ้ามองรอบตัว แทบทุกพื้นผิวมีพื้นผิวละเอียดบางรูปแบบและไม่ได้สม่ำเสมอทางสายตา เมื่อสิ่งนี้ถูกบันทึกเป็นวิดีโอ พื้นผิวละเอียดจะลดลงเพราะออปติกของกล้อง ความละเอียดที่จำกัด และการทำให้เรียบจากการบีบอัด ฟิล์มเกรนจึงเติมบางส่วนของ สิ่งเร้าทางสายตาความถี่สูง ที่สูญหายไป
ตาและสมองของเราชอบสิ่งเร้าความถี่สูงแบบนั้น และไม่ได้จู้จี้นักว่าแพตเทิร์นนอยส์ที่แน่นอนของฉากเดิมจะถูกสร้างซ้ำหรือไม่ ดังนั้นเอนโคดเดอร์ x265 ที่ใช้ทำวิดีโอ H.265 จึงไม่มีการสังเคราะห์เกรน แต่มีพารามิเตอร์ psy-rd สิ่งนี้ใกล้เคียงกับ “ทำให้วิดีโอที่บีบอัดแล้วดูมี ‘พลังงาน’ เท่าต้นฉบับ แม้พลังงานนั้นจะไม่ได้อยู่ตำแหน่งเดียวกันเป๊ะก็ตาม” และ psy-rdoq ก็ใกล้เคียงกับ “ให้ชอบพลังงานที่สูงกว่าโดยรวม”
การปรับพารามิเตอร์แบบนี้ทำให้วิดีโอที่บีบอัดแล้วดูดีขึ้นได้โดยไม่ต้องเก็บข้อมูลเพิ่ม
โชคดีที่ตาของเราไวแสงกว่ากล้องมาก แต่ในที่นี้ “ความสมจริง” มาจากวิธีที่เทคโนโลยีในยุคนั้นจับภาพไว้ ไม่ต่างจากเสียงรบกวนของเครื่องเล่นแผ่นเสียงหรือวิธีที่สัญญาณ CRT พร่าเลือน มัน “จริง” ต่อเทคโนโลยีที่ผู้กำกับภาพยนตร์ใช้ และต่อวิธีที่พวกเขารู้ว่าผู้ชมจะดูภาพยนตร์
เหมือนฝีแปรงของ Van Gogh ที่เป็นของจริงสำหรับภาพวาดของเขา เราคงไม่อยากเอากระดาษทรายไปขัดภาพสีน้ำมันให้เรียบ เพราะนั่นคือความเป็นจริงของสื่อดั้งเดิม ดังนั้นแม้ในสำเนาดิจิทัลของฟิล์ม เราก็อยากรักษาความเป็นจริงของต้นฉบับไว้ให้มากที่สุด
ถ้ารู้เรื่องใดมาก ก็อ่านประวัติศาสตร์ของสิ่งนั้นได้มากขึ้น และนั่นก็เปลี่ยนอารมณ์ด้วย
เด็กที่ดูสเก็ตช์ตลกของ Buster Keaton แล้วกลั้นหายใจก่อนหัวเราะคิกคักอย่างสนุก กับนักวิจารณ์ภาพยนตร์ที่รู้กระทั่งว่าฟิล์มและกล้องแบบไหนถูกใช้ การทำให้ฉากเป็นนามธรรมหมายถึงอะไร และผ้าของชุด Keaton เป็นแบบไหน จะมีประสบการณ์สุนทรียะเชิงอัตวิสัยต่อสื่อเดียวกันต่างกัน
รสนิยมทางสุนทรียะเชิงอัตวิสัยอยู่ในขอบเขตของการรับรู้ ต้องมีทฤษฎีสติปัญญาอย่างเป็นทางการที่แมปกับสมองมนุษย์ และปรากฏการณ์เชิงอัตวิสัยแบบนี้ท้ายที่สุดก็ลงเอยที่การประมวลผลข้อมูลแบบเฉพาะบุคคลและเงื่อนไขตั้งต้น
ฟิล์มเกรนเมื่อเทียบกับแอนิเมชันเซลที่สะอาด อาจทำให้ผู้คนพักความไม่เชื่อได้ง่ายขึ้น เพราะพวกเขาเรียนรู้ว่าเมื่อไม่มีเกรน จะเชื่อมโยงกับแอนิเมชันที่ไม่สมจริง สื่อบางประเภท และ CGI ส่วนโฮมวิดีโอและข่าวต่าง ๆ มีเกรนและคุณภาพต่ำ เกรนจึงมีความสัมพันธ์กับ “ของจริง”
ในมุมผม มันไม่มีอะไรลึกไปกว่านั้น เราเป็นผลผลิตของยุคสมัย อีก 40 ปี สื่ออาจเปลี่ยนไปจนฟิล์มเกรนเชื่อมโยงกับความเหนือจริง หรือเพราะโดยพื้นฐานแล้วมันคือนอยส์ จึงอาจถูกกำจัดทิ้งทั้งหมดก็ได้
ผมไม่ค่อยรู้เรื่อง จิตวิทยาการมองเห็น ที่อยู่เบื้องหลัง อาจเป็นการเติมความถี่สูงที่ถูกการบีบอัดชะล้างออกไป หรืออาจทำงานเหมือน dithering บางชนิด
สำหรับดวงตา ตามฟิสิกส์ควอนตัมก็น่าจะถือว่าตาก็มีเกรนเช่นกัน เพียงแต่สมองกรองออกไปจึงไม่รับรู้เท่านั้น ส่วนมันโต้ตอบกับฟิล์มเกรนอย่างไร ผมไม่ค่อยแน่ใจ
ผมเดาว่าช่างทำกระจกในอดีตคงหลงใหลมากกับความสามารถในการทำแผ่นกระจกใหญ่และสม่ำเสมอเหมือนทุกวันนี้ แต่เรากลับเลียนแบบข้อประนีประนอมที่พวกเขาจำใจเลือก เพียงเพราะเราคุ้นเคยกับมัน
คำว่า “เมื่อดูหนังคลาสสิก การเคลื่อนไหวอันละเอียดอ่อนของฟิล์มเกรนช่วยเติมความจริงแท้และความโหยหาอดีตให้ทุกฉาก” ผมมองว่ามันแค่เติมนอยส์ทางสายตาที่บดบังรายละเอียดของฉากจริงเท่านั้น
ความโหยหาอดีตอาจไปผูกกับเบาะแสทางสายตาที่เด่นชัดกว่า เช่น นักแสดงยุคเก่า หรือความทรงจำเก่า ๆ ตอนที่ได้ดูครั้งแรก
คำว่า “มีส่วนช่วยให้ภาพยนตร์สมจริง” ก็ตรงกันข้ามเสียมากกว่า เพราะในความเป็นจริงไม่มีเกรน
ถึงอย่างนั้นก็ดีใจที่ AV1 พัฒนาต่อไปและมี กลไกทดแทนเชิงอัลกอริทึม แทนที่จะเปลืองบิตเรตไปกับการเข้ารหัสขยะทางสายตา แบบนี้ก็ปิดได้ง่ายขึ้นด้วย
ถ้าฟิล์มเกรนเป็นส่วนหนึ่งของวิสัยทัศน์ผู้กำกับ มันก็มีความชอบธรรมพอ ๆ กับการเลือกใส่ดนตรีประกอบดราม่าที่ไม่อยู่ในโลกของฉากไว้เบื้องหลัง มันไม่จริงแท้อย่างมาก แต่มีประสิทธิภาพมากในการปลุกอารมณ์ และนั่นคือจุดประสงค์ของศิลปะ
Steve Yedlin ผู้กำกับภาพ อธิบายว่านี่คือการให้อะไรบางอย่างที่สายตาผู้ชมจะ “จับยึด” ได้
ในการโทรผ่านมือถือ โคเดก AMR-WB จับช่วง 50Hz~7000Hz ได้ตามชื่อสเปก แต่เป็นเช่นนั้นเฉพาะที่บิตเรตสูงสุดที่เลือกได้คือ 23.85Kbps เท่านั้น
ที่ 12.65Kbps ซึ่งพบบ่อยที่สุด มันเก็บได้ถึงแค่ 6400Hz และช่วง 6400~7000Hz จะถูกสังเคราะห์จากความถี่ต่ำกับนอยส์ เพราะการมีนอยส์ฟังดูดีกว่าการไม่มีนอยส์
ฟิล์มเกรนควรหายไปได้แล้ว ยุคนั้นผ่านไปแล้ว ภาพซีเปียกับหนังเงียบ 16fps ที่ฉายเป็น 24fps ก็ตายไปแล้ว และรายต่อไปคือ ฟิล์มเกรน
Eastman Business Park ใน Rochester ก็ถูกรื้อไปแล้ว
แล้วก็ขอให้เลิกใส่ฝุ่นกับรอยขีดข่วนลงในวิดีโอ YouTube ได้แล้ว
รู้สึกอึดอัดนิดหน่อยที่ต้องถ่ายวิดีโอก่อน แล้วลบ noise ในงาน post-production จากนั้นใส่ noise กลับเข้าไป แล้วตอน encoding ก็ลบ noise ออกอีก ก่อนจะใส่ noise กลับเข้าไปตอน decoding
แสงปลอม เงาปลอม ท้องฟ้าปลอม ฯลฯ
ตอนนี้ทุกอย่างเป็นของปลอมไปหมดแล้ว อยากได้เทคโนโลยีที่ทำงานกับการสแกนฟิล์มต้นฉบับ อยากให้เป็นวิธีที่ไม่ทำแม้แต่การบีบอัด JPEG ซึ่งเป็นขั้นแรกของการสูญเสียรายละเอียด
motion detection, key frame, delta frame นั้นโอเค แต่ต้องเป็น วิดีโอแบบ lossless แน่นอนว่าหมายถึงบรรจุลง Blu-ray และไม่ได้สนใจ streaming เท่าไร