グループ化空間時系列シフトを用いた動画復元のためのシンプルなベースライン

動画復元は、劣化した動画から鮮明なフレームを復元することを目的とする技術であり、多岐にわたる重要な応用を持つ。動画復元の鍵は、フレーム間情報を効果的に活用することにある。しかし、従来の深層学習手法は、光流推定や可変畳み込み、フレーム間自己注意層など、複雑なネットワーク構造に依存しており、計算コストが高くなる傾向にある。本研究では、シンプルでありながら効果的な動画復元フレームワークを提案する。本手法は、グループ化された空間時間シフト（grouped spatial-temporal shift）に基づくものであり、軽量かつ直感的な技術として、複数フレームの集約に際してフレーム間対応関係を暗黙的に捉えることができる。グループ化空間シフトを導入することで、広範な有効受容 field を実現する。これに基本的な2次元畳み込みを組み合わせることで、シンプルな構成でありながらフレーム間情報を効果的に集約できる。広範な実験により、本フレームワークは従来の最先端手法を上回る性能を発揮しつつ、計算コストはその四分の一未満で済むことを示した。これは、動画のデブラーイングおよびノイズ除去の両タスクにおいて、高品質な復元結果を維持しつつ、計算負荷を大幅に削減する可能性を示している。コードは https://github.com/dasongli1/Shift-Net にて公開されている。