OmniFusion：ジオメトリ感知融合を用いた360度モノクロナル深度推定

オムニディレクショナル（全方位）画像に深層学習手法を適用する際の代表的な課題として、球面歪みが挙げられる。深度推定などの密な回帰タスクでは構造的な細部情報が求められるため、歪みが生じた360度画像に対して従来のCNN層を直接適用すると、望ましくない情報損失が発生する。本論文では、球面歪みの問題に対処するため、360度単眼深度推定パイプライン「OmniFusion」を提案する。本パイプラインは、360度画像を歪みが少ないパースペクティブ領域（すなわち接平面画像）に変換し、CNNを用いて各領域ごとの予測を実行した後、領域ごとの結果を統合して最終出力を得る。領域ごとの予測結果間に生じる乖離は、統合品質に大きな影響を与える主要な課題であるため、以下の主要構成要素を備えた新規フレームワークを提案する。第一に、3D幾何学的特徴と2D画像特徴を融合する「幾何学的認識型特徴融合機構」を提案し、領域間の乖離を補正する。第二に、自己注意（self-attention）に基づくTransformerアーキテクチャを用いて、領域ごとの情報をグローバルに集約することで、予測の一貫性をさらに向上させる。第三に、より正確な幾何学的特徴に基づいて深度推定を反復的に精緻化する「反復的深度精 refinement機構」を導入する。実験の結果、本手法は歪みの問題を顕著に軽減し、複数の360度単眼深度推定ベンチマークデータセットにおいて、最先端の性能を達成した。