PanoFormer：室内360度深度推定のためのパノラマTransformer

パノラマ深度推定に用いられる従来の畳み込みニューラルネットワーク（CNN）ベースの手法は、パノラマ歪みの除去に注力しているが、CNNに固有の固定受容 field により、パノラマ構造を効率的に捉えることができないという課題がある。本論文では、球面領域から得られる接平面領域のパッチ、学習可能なトークンフロー、およびパノラマ特有の評価指標を導入した「PanoFormer」と呼ばれるパノラマトランスフォーマーを提案する。特に、球面接平面領域上に分割されたパッチをトークンとして扱うことで、パノラマ歪みの負の影響を低減する。また、深度推定において幾何構造が極めて重要であることに鑑み、追加の学習可能なトークンフローを備えた再設計された自己注意（self-attention）モジュールを採用している。さらに、球面領域の特性を考慮し、パノラマ深度推定モデルの性能を包括的に評価するための2種類のパノラマ特有の指標を提案する。広範な実験により、本手法が最先端（SOTA）手法を顕著に上回ることを示した。さらに、本手法は、類似のピクセル対ピクセルタスクであるセマンティックパノラマセグメンテーションへの有効な拡張も可能であることが示された。コードは公開予定である。