リアルタイム動画スーパーレゾリューションの空間時間ネットワークと動き補正

畳み込みニューラルネットワークは、リアルタイムでの正確な画像超解像を可能にしました。しかし、最近のビデオ超解像における時間相関の活用試みは、単純または非効率的なアーキテクチャに限定されていました。本論文では、時間的冗長性を効果的に活用し、再構築精度を向上させながらリアルタイム速度を維持する空間時間サブピクセル畳み込みネットワークを導入します。特に、複数の連続したビデオフレームの共同処理のために早期融合（early fusion）、遅延融合（slow fusion）および3次元畳み込み（3D convolutions）の使用について議論します。また、競合する手法よりも桁違いに効率的な新しい共同モーション補償とビデオ超解像アルゴリズムを提案します。このアルゴリズムは、高速マルチレゾリューション空間変換モジュールに依存しており、エンドツーエンドで学習可能です。これらの貢献により、より高い精度と時間的に一貫性のあるビデオが得られることを定性的および定量的に確認しています。単一フレームモデルと比較して、空間時間ネットワークは計算コストを30%削減しながら同じ品質を維持するか、または同程度の計算コストで0.2dBの利得を提供することができます。公開データセットでの結果は、提案されたアルゴリズムが精度と効率性の両面で現行の最先端性能を超えることを示しています。