HorizonNet: 1次元表現とパノストレッチによる部屋のレイアウト学習 データ拡張

単一のパノラマ画像から3D部屋レイアウトを推定する問題に対する新しいアプローチを提案します。我々は、各画像列における床-壁と天井-壁の境界位置、および壁-壁の境界の存在を符号化する3つの1Dベクトルとして部屋レイアウトを表現します。提案されたネットワーク、HorizonNet（ホライゾンネット）は、1Dレイアウトの予測に訓練され、従来の最先端手法を上回る性能を示しています。設計された後処理手順は、1D予測から3D部屋レイアウトを復元し、低計算コストで自動的に部屋形状を推論することができます - パノラマ画像に対して20ミリ秒未満で処理が完了し、以前の研究では数十秒が必要だったことを考えると大幅な改善です。また、Pano Stretch Data Augmentation（パノストレッチデータ拡張）という新たなデータ拡張手法も提案しており、これによりパノラマデータの多様性が向上し、他のパノラマ関連学習タスクにも適用できます。非直方体レイアウト用の限られたデータに対応するため、現在のデータセットから65件の一般的なレイアウトを再ラベル付けして微調整を行いました。我々のアプローチは、定性的結果とクロスバリデーションによって一般レイアウトにおいて良好な性能を示しています。