要約
低解像度動画のスーパーレゾリューション処理は、通常、単一画像スーパーレゾリューション（SR）またはマルチフレームSRによって行われる。単一画像SRは、動画の各フレームを独立して処理するため、実際には動画SRにおいて極めて重要な役割を果たすフレーム間の時間的依存性を無視してしまう。一方、マルチフレームSRは一般的に、光流（optical flow）などの運動情報を抽出して時間的依存性をモデル化するが、これには高い計算コストが伴う。本研究では、再帰型ニューラルネットワーク（RNN）が時間系列の長期的文脈情報を効果的にモデル化できることに着目し、効率的なマルチフレームSRを実現するための双方向再帰畳み込みネットワークを提案する。従来のRNNとは異なり、本手法では1）一般的に用いられる再帰的全結合層を重み共有型畳み込み層に置き換え、2）前の入力層から現在の隠れ層への条件付き畳み込み接続を追加することで、視覚的・時間的依存性のモデリングを強化している。この強力な時間的依存性モデリングにより、複雑な運動を含む動画に対しても高精度なスーパーレゾリューションを実現し、最先端の性能を達成した。また、畳み込み演算の計算コストが低いため、本モデルは計算量が少なく、他のマルチフレーム手法と比べて数オーダーの高速性を実現している。