16日前

StructDepth:自己教師ありインテリア深度推定のための構造的規則性の活用

Boying Li, Yuan Huang, Zeyu Liu, Danping Zou, Wenxian Yu
StructDepth:自己教師ありインテリア深度推定のための構造的規則性の活用
要約

自己教師あり単眼深度推定は、屋外データセットにおいて顕著な性能を達成している。しかし、テクスチャが乏しい室内環境ではその性能が著しく低下する。豊富なテクスチャが欠如しているため、ピクセル間の光度的一貫性が弱く、良好な深度ネットワークの学習が困難となる。室内シーンに見られる構造的規則性に着目し、早期の室内モデリングに関する研究にインスパイアされて、より優れた深度ネットワークの学習を実現する手法を提案する。具体的には、自己教師あり学習に向けた2つの追加の監視信号を採用する:1)マンハッタン法線制約、および2)共平面制約。マンハッタン法線制約は、主な表面(床、天井、壁)が主要な方向に一致するように制約する。共平面制約は、同一の平面領域内に存在する3次元点群が、平面に良好にフィットするべきであるという制約である。これらの監視信号を生成するために、トレーニング中にリアルタイムで主な表面法線を主要な方向に分類し、平面領域を検出する2つのモジュールを導入する。トレーニングエポックが進むにつれて予測深度がより正確になるにつれ、監視信号も改善され、その結果、より優れた深度モデルの学習が可能となる。室内ベンチマークデータセットを用いた広範な実験の結果、本手法は最先端手法を上回る性能を示した。ソースコードは、https://github.com/SJTU-ViSYS/StructDepth にて公開されている。

StructDepth:自己教師ありインテリア深度推定のための構造的規則性の活用 | 最新論文 | HyperAI超神経