要約
ステレオ画像超解像は、両眼システムが提供する補完情報を活用して、超解像結果の品質を向上させることが目的です。合理的な性能を得るためには、多くの手法がモジュールや損失関数などの詳細な設計に焦点を当て、別の視点からの情報を活用しています。これにより、システムの複雑さが増し、研究者が新しいアイデアを評価したり、手法を比較したりすることが難しくなるという副作用があります。本論文では、単一視点の特徴量抽出に強力かつシンプルな画像復元モデルであるNAFNetを継承し、視点間での特徴量融合のためにクロスアテンションモジュールを追加することで、両眼シナリオに適応させています。提案されたステレオ画像超解像のベースラインはNAFSSRと呼ばれています。さらに、NAFSSRの性能を最大限に引き出すための学習・テスト戦略も提案されています。多数の実験により、当手法の有効性が示されています。特に、KITTI 2012, KITTI 2015, Middlebury, および Flickr1024 データセットにおいて、NAFSSRは最先端の手法を上回っています。また、NTIRE 2022 ステレオ画像超解像チャレンジで1位を獲得しました。コードとモデルは https://github.com/megvii-research/NAFNet で公開されます。