学習パララックス注意を用いたステレオ画像の超解像

ステレオ画像対は、第2の視点から追加情報が提供されるため、超解像（Super-Resolution: SR）の性能向上に利用できます。しかし、ステレオ画像間の視差が大きく異なるため、この情報をSRに組み込むことは困難です。本論文では、ステレオ画像対からの情報を統合するためのパララックス注意メカニズムを備えたステレオ超解像ネットワーク（Parallax-Attention Stereo Super-Resolution Network: PASSRnet）を提案します。具体的には、エピポーラ線に沿ったグローバル受容野を持つパララックス注意メカニズムを導入し、大きな視差変動を持つ異なるステレオ画像に対処します。また、新しいかつ最大規模のステレオ画像SRデータセット（Flickr1024）も提案します。広範な実験により、パララックス注意メカニズムが小さな計算量とメモリコストでステレオ画像間の対応関係を捉え、SR性能を向上させることを示しています。比較結果は、私たちのPASSRnetがMiddlebury、KITTI 2012およびKITTI 2015データセットにおいて最先端の性能を達成していることを示しています。