再帰構造・詳細ネットワークを用いた動画スーパーアップレゾリューション

多くの動画スーパーレゾリューション手法は、時系列的なスライディングウィンドウ内の隣接フレームを活用して、単一の参照フレームをスーパーレゾリューション処理を行うが、再帰型手法と比較して効率が低い。本研究では、過去のフレームを効果的かつ効率的に活用して現在のフレームをスーパーレゾリューション処理する、新たな再帰型動画スーパーレゾリューション手法を提案する。本手法は入力を構造成分と詳細成分に分割し、提案された複数の二ストリーム構造-詳細ブロックから構成される再帰ユニットにそれぞれ入力する。さらに、現在のフレームが隠れ状態からの情報を選択的に利用できるようにする隠れ状態適応モジュールを導入することで、外見の変化や誤差の蓄積に対するロバスト性を向上させた。広範なアブレーションスタディにより、提案モジュールの有効性が検証された。複数のベンチマークデータセットにおける実験結果から、最先端の手法と比較して、本手法が動画スーパーレゾリューションにおいて優れた性能を発揮することが示された。