
過去数年間、深層学習を圧縮画像/動画の品質向上に応用することで大きな成功を収めています。既存の手法は主に単一フレームの品質向上に焦点を当てており、連続するフレーム間の類似性を無視しています。本論文では、圧縮動画の各フレーム間に著しい品質変動が存在することを調査し、その結果、近隣の高品質フレームを使用して低品質フレームを強化できる可能性があることを示しました。これをマルチフレーム品質向上(Multi-Frame Quality Enhancement: MFQE)と呼びます。本論文では、この方向性での最初の試みとして、圧縮動画用のMFQE手法を提案します。当手法ではまず、サポートベクターマシン(Support Vector Machine: SVM)ベースの検出器を開発し、圧縮動画内のピーク品質フレーム(Peak Quality Frames: PQFs)を特定します。次に、非PQFとその最も近い2つのPQFを入力とする新しいマルチフレーム畳み込みニューラルネットワーク(Multi-Frame Convolutional Neural Network: MF-CNN)を設計しました。MF-CNNはモーション補償サブネットワーク(Motion Compensation subnet: MC-subnet)を通じて非PQFとPQF間の動きを補正します。その後、品質向上サブネットワーク(Quality Enhancement subnet: QE-subnet)が近傍PQFの助けを使って非PQFの圧縮アーティファクトを軽減します。最後に、実験により当MFQE手法が最先端技術における圧縮動画の品質向上において有効かつ汎用的であることが確認されました。当MFQE手法のコードは以下のURLから入手可能です:https://github.com/ryangBUAA/MFQE.git