可変3D畳み込みを用いた動画スーパーアンパチング

動画シーケンス間の時空間情報は、動画スーパーレゾリューション（SR）において重要である。しかし、従来の動画SR手法では、空間特徴量の抽出と時系列的な動き補償が通常逐次的に行われるため、時空間情報の活用が十分に行えない。本稿では、空間的および時系列的次元の両方から時空間情報を統合するため、可変3次元畳み込みネットワーク（D3Dnet）を提案する。具体的には、可変畳み込みと3次元畳み込みを統合した可変3次元畳み込み（D3D）を導入することで、優れた時空間モデリング能力と動きに敏感なモデリングの柔軟性を両立する。広範な実験により、D3Dが時空間情報を効果的に活用できることを示した。比較実験の結果、本ネットワークは最先端のSR性能を達成している。コードは以下のURLから入手可能である：https://github.com/XinyiYing/D3Dnet。