OmniLayout: 室内球面パノラマからの部屋のレイアウト再構成

単一のRGBパノラマ画像を入力として、3Dレイアウト再構成の目的は、部屋のレイアウトをコーナー、床境界、および天井境界の予測によって推定することである。従来のアプローチでは、標準的な畳み込みネットワークを使用してコーナーと境界を予測し、その後ポストプロセッシングにより3Dレイアウトを生成することが一般的であった。しかし、パノラマ画像における空間変動歪みは、標準的な畳み込みの移動等方性（translational equivariance）特性と互換性がなく、性能が低下する原因となっていた。そこで本研究では、球面畳み込み（spherical convolutions）を使用することを提案する。このネットワークをOmniLayoutと呼び、直接球面上で畳み込みを行い、逆等角投影（inverse equirectangular projection）に従ってサンプリングを行うことで等角投影歪みに不変となる。新しい評価指標を使用した実験結果から、OmniLayoutは標準的な畳み込みネットワークと比較して極域（near the poles）付近の大幅な歪み領域での誤差を約25%削減できることを示している。さらに2つの異なるベンチマークデータセット（PanoContextおよびStanford 2D-3D）において、OmniLayoutは最新手法に対して約4%優れた性能を発揮することが確認された。コードは以下のURLから入手可能である: https://github.com/rshivansh/OmniLayout.