要約
近年、深層学習手法は圧縮動画の品質向上において顕著な成果を上げている。時間的情報をより効果的に活用するため、従来の手法は通常、時間的運動補償のために光流（optical flow）を推定している。しかし、圧縮動画は多様な圧縮アーティファクトによって著しく歪むため、推定された光流は不正確かつ信頼性が低くなりやすく、結果として品質向上の効果が十分に発揮されない。さらに、連続フレーム間の光流推定は一般的にペア単位で行われるため、計算コストが高く、効率に欠けるという問題がある。本論文では、時間的情報を効率的に集約するための新しい「空間時間可変融合（Spatio-Temporal Deformable Fusion: STDF）」機構を導入することで、高速かつ効果的な圧縮動画品質向上手法を提案する。具体的には、対象フレームとその隣接する参照フレームを入力として、空間時間的なサンプリング位置を変形するオフセット場を同時に予測する。その結果、対象フレームと参照フレームからの補完的情報を、一度の「空間時間可変畳み込み（Spatio-Temporal Deformable Convolution: STDC）」演算内で統合することができる。広範な実験の結果、本手法は精度と効率の両面で、圧縮動画品質向上の最先端水準を達成していることが確認された。