3D ルームレイアウトの推定：パノラマ画像のキューブマップを用いたディープマンハッタンホッジ変換による方法

単一のパノラマ画像から3D部屋レイアウトを推定する際、重要な幾何学的構造はグローバルワイヤーフレームによってコンパクトに記述できることが観察されています。この観察に基づき、学習可能なハフ変換ブロックで長距離の幾何学的パターンをモデル化することにより、3D空間における壁の推定に向けた代替アプローチを提案します。私たちはキューブマップタイルの画像特徴をマンハッタンワールドのハフ空間に変換し、特徴を直接幾何学的出力にマッピングします。畳み込み層は、局所的な勾配のような線形特徴だけでなく、全体的な情報を活用して、単純なネットワーク構造で隠れた壁を成功裏に予測します。これまでの多くの研究とは異なり、予測は各キューブマップタイルに対して個別に行われ、その後組み合わせてレイアウト推定を得ます。実験結果は、最近の最先端技術と比較しても予測精度と性能において同等の結果が得られることを示しています。コードは https://github.com/Starrah/DMH-Net で入手可能です。