16日前

P$^{2}$Net:教師なしインドア深度推定のためのパッチマッチと平面正則化

Zehao Yu, Lei Jin, Shenghua Gao
P$^{2}$Net:教師なしインドア深度推定のためのパッチマッチと平面正則化
要約

本論文は、屋内環境における教師なし深度推定の課題に取り組む。このタスクは、これらのシーンに広範にわたるテクスチャの欠如領域が存在するため、極めて困難である。これらの領域は、屋外環境向けに従来用いられてきた教師なし深度推定フレームワークにおける最適化プロセスを圧倒してしまう可能性がある。しかし、これらの領域をマスクしても、依然として性能は満足のいくものではない。本研究では、性能の低さが点ベースのマッチングにおける識別力の欠如に起因すると主張する。これを解決するために、P$^2$Netを提案する。まず、局所勾配が大きい点を抽出し、各点を中心とするパッチをその表現として採用する。その後、パッチ間における多視点一貫性損失(multiview consistency loss)を定義する。この操作により、ネットワークの学習のロバスト性が著しく向上する。さらに、屋内シーンにおけるテクスチャの欠如領域(例:壁、床、天井など)は通常平面領域に対応するため、スーパーピクセルを平面事前知識(plane prior)として活用することを提案する。各スーパーピクセル内で予測された深度が平面で良好にフィットするように制約を課す。NYUv2およびScanNetにおける広範な実験により、P$^2$Netが既存手法を大きく上回ることを示した。コードは以下のURLから入手可能である:\url{https://github.com/svip-lab/Indoor-SfMLearner}。

P$^{2}$Net:教師なしインドア深度推定のためのパッチマッチと平面正則化 | 最新論文 | HyperAI超神経