要約
単眼360度画像における深度推定は、緯度に沿って歪みが増大するため、困難な課題である。従来の手法は、この歪みを捉えるために深く複雑なネットワークアーキテクチャの設計に注力してきた。本論文では、360度画像に対して解釈可能かつスパースな表現を構築する新たな視点を提示する。深度推定において幾何構造の重要性を踏まえ、スペクトル領域で明示的な幾何的特徴を捉えるためにコンタラット変換（contourlet transform）を活用し、空間領域における暗黙的な特徴と統合する。具体的には、畳み込みニューラルネットワーク（CNN）とコンタラット変換ブランチから構成されるニューラルコンタラットネットワークを提案する。エンコーダ段階では、2種類の特徴を効果的に融合するための空間-スペクトル融合モジュールを設計している。エンコーダとは対照的に、デコーダでは学習されたローパスサブバンドおよび帯域通過方向性サブバンドを用いた逆コンタラット変換により、深度を再構成する。3つの代表的なパノラマ画像データセットにおける実験結果から、提案手法が最先端の手法を上回り、より高速な収束を達成することが示された。コードは以下のURLで公開されている：https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE。