11日前

自己教師付きモノクロインドア深度推定の深化

Chao Fan, Zhenyu Yin, Yue Li, Feiqing Zhang
自己教師付きモノクロインドア深度推定の深化
要約

単眼深度推定において畳み込みニューラルネットワーク(CNN)を用いた手法は、屋外ドライブシーンにおいて優れた性能を示している。しかし、単眼動画シーケンスから室内深度を自己教師学習で推定することは、以下の2つの主な理由から研究者にとって極めて困難である。一つは低テクスチャ領域が広範にわたること、もう一つは室内学習データセットにおける複雑なエゴモーション(自己運動)である。本研究では、これを解決するため、新規手法「IndoorDepth」を提案する。本手法は2つの革新を含む。まず、低テクスチャ領域に起因する課題に対処するため、構造的類似度(SSIM)関数を改良した新たな光度損失関数を提案する。さらに、エゴモーション予測の不正確さをさらに低減するため、異なる段階に複数の光度損失を導入し、2つの残差ポーズブロックを備えた深層ポーズネットワークを学習する。その後の消去実験により、各新規アイデアの有効性が検証される。NYUv2ベンチマーク上での実験結果から、本手法は従来の最先端手法を大きく上回ることが示された。さらに、ScanNetデータセット上でも本手法の汎化能力が確認された。コードは https://github.com/fcntes/IndoorDepth にて公開されている。

自己教師付きモノクロインドア深度推定の深化 | 最新論文 | HyperAI超神経