LED2-Net: 単眼360度レイアウト推定のための微分可能な深度レンダリング

部屋のレイアウト推定においては、大きな進歩が見られましたが、多くの手法は2次元ピクセル座標での損失を減らすことに焦点を当てており、3次元空間における部屋の構造を活用するものではありません。3次元で部屋のレイアウトを再構築することを目指し、360度レイアウト推定のタスクをパノラマの水平線における深度予測の問題として定式化しました。具体的には、レイアウトから深度予測への変換を微分可能にするための「微分可能な深度レンダリング」手順を提案します。これにより、我々が提案するモデルは3次元幾何学的情報を利用しつつ、真値の深度情報を提供せずに端対端で学習可能となります。当手法は多数の360度レイアウトベンチマークデータセットにおいて最先端の性能を達成しています。さらに、我々の定式化は深度データセット上の事前学習ステップを可能にし、これによりレイアウト推定モデルの一層の汎化能力向上に寄与します。