HR光学フロー推定を用いたビデオスーパーレゾリューションの学習

ビデオ超解像（SR）は、低解像度（LR）のフレームから現実的で時間的に一貫した詳細を持つ高解像度（HR）のフレーム列を生成することを目指しています。正確な対応関係の生成は、ビデオSRにおいて重要な役割を果たします。従来のビデオSR手法では、画像と光学フローの同時SRが正確な対応関係とより良いSR結果を提供することが示されています。しかし、既存の深層学習ベースの方法では、対応関係生成にLR光学フローが使用されています。本論文では、画像と光学フローの両方を超解像するエンドツーエンドで学習可能なビデオSRフレームワークを提案します。具体的には、まず粗い段階から細かい段階へとHR光学フローを推定するための光学フローリコンストラクションネットワーク（OFRnet）を提案します。次に、HR光学フローに基づいてモーション補償を行います。最後に、補償されたLR入力を超解像ネットワーク（SRnet）に入力してSR結果を生成します。多数の実験により、HR光学フローがLR光学フローよりもより正確な対応関係を提供し、精度と一貫性性能を向上させることが示されました。Vid4およびDAVIS-10データセットでの比較結果は、我々のフレームワークが最先端の性能を達成していることを示しています。