解釈可能なビデオ超解像化を実現するための交互最適化手法

本論文では、実践的な時空間ビデオスーパーレゾリューション（STVSR）問題について研究しています。この問題は、低フレームレートおよび低解像度のカメラで高速な動的イベントを記録した場合に発生しやすく、記録されたビデオには以下の3つの典型的な課題が存在します。i) 露出時間中に物体やカメラの動きによりモーションブラーが発生します；ii) イベントの時間周波数が時間サンプリングのナイキスト限界を超えると、モーションエイリアシングは避けられません；iii) 低空間サンプリング率のために高周波詳細が失われます。これらの課題は、ビデオのぼかし除去、フレーム補間、スーパーレゾリューションという3つの独立したサブタスクを連続的に処理することで軽減できますが、ビデオシークエンス間の空間的および時間的な相関関係を捉えきることができないため、完全には解決されません。これを解決するために、モデルベースと学習ベースの手法を組み合わせた解釈可能なSTVSRフレームワークを提案します。具体的には、STVSRを共同的なビデオぼかし除去、フレーム補間、スーパーレゾリューション問題として定式化し、これらを交互に2つのサブ問題として解きます。最初のサブ問題については、解釈可能な解析解を導出し、それをフーリエデータ変換層として使用します。次に、2つ目のサブ問題に対して再帰的なビデオ強化層を提案し、さらに高周波詳細を回復します。広範な実験結果から、当方法が定量指標および視覚品質において優れていることが示されています。