DuLa-Net: 単一RGBパノラマから部屋のレイアウトを推定するための双方向投影ネットワーク

私たちは単一のRGBパノラマからマンハッタンワールドの3D部屋レイアウトを予測する深層学習フレームワーク、DuLa-Netを提案します。より高い予測精度を達成するために、当手法はパノラマの2つの投影、すなわち等角投影パノラマビューと透視天井ビューを同時に活用します。これら2つのビューにはそれぞれ異なる部屋レイアウトに関する手がかりが含まれています。ネットワークアーキテクチャは、これらの2つのビューを分析するための2つのエンコーダー-デコーダーブランチで構成されています。さらに、新しい特徴量融合構造を提案し、この構造によって2つのブランチが接続され、2Dフロアプランとレイアウト高さの予測のために共同で訓練されます。より複雑な部屋レイアウトを学習するために、異なる数のコーナーを持つマンハッタンワールドの部屋レイアウトのパノラマを含むRealtor360データセットを導入しました。実験結果は、特に非直方体形状の部屋において、当研究が最近の最先端技術よりも高い予測精度と性能を示していることを示しています。