要約
私たちは、高忠実度の結果を得るために参照動画を利用する最初の参照ベースのビデオスーパーレゾリューション（RefVSR）手法を提案します。特に、スマートフォンの三眼カメラ設定において、ワイドアングル動画とテレフォト動画を利用して低解像度の超広角動画をスーパーレゾリューション化することに焦点を当てています。私たちは、低解像度フレームから抽出された特徴量と融合された時間的な参照特徴量を再帰的に合わせて伝播させる最初のRefVSRネットワークを導入します。時間的な参照特徴量の融合と伝播を容易にするために、伝播型時間融合モジュールを提案します。また、学習と評価のために、スマートフォンの三眼カメラから同時に撮影された超広角、ワイドアングル、およびテレフォト動画のトリプレットで構成される最初のRefVSRデータセットを提示します。さらに、提案されたデータセット内のビデオトリプレットを完全に活用する二段階トレーニング戦略も提案し、実世界での4倍ビデオスーパーレゾリューションに適用します。私たちの手法は広範囲にわたって評価され、その結果は4倍スーパーレゾリューションにおける最先端の性能であることが示されました。