要約
最近のビデオ超解像技術の進展により、畳み込みニューラルネットワークとモーション補償を組み合わせることで、複数の低解像度（LR）フレームから高品質な画像を生成することが可能になりました。現在の最先端手法は、一連のLRフレームを処理して単一の高解像度（HR）フレームを生成し、このスキームを全ビデオに対してスライディングウィンドウ方式で実行します。これにより、問題は多数の独立した多フレーム超解像タスクとして扱われます。このアプローチには主に2つの弱点があります：1) 各入力フレームが複数回処理され、変形されるため計算コストが増大し、2) 各出力フレームが入力フレームに基づいて独立に推定されるため、システムが時間的に一貫した結果を生成する能力が制限されます。本研究では、以前に推定されたHRフレームを使用して次のフレームを超解像化する、エンドツーエンドで学習可能なフレーム再帰型ビデオ超解像枠組みを提案します。この方法は自然に時間的一貫性のある結果を促進し、各ステップで1つの画像しか変形しないことで計算コストを削減します。さらに、その再帰的な性質により、提案手法は計算負荷を増加させずに大量の過去フレームを取り込む能力を持っています。広範な評価と既存手法との比較により、当方針の強みが確認され、提案された枠組みが現行の最先端技術よりも大幅に優れていることが示されました。