11日前

DCPI-Depth:教師なしモノクロmaal深度推定における密な対応Priorの明示的導入

Mengtan Zhang, Yi Feng, Qijun Chen, Rui Fan
DCPI-Depth:教師なしモノクロmaal深度推定における密な対応Priorの明示的導入
要約

近年、単眼動画から教師なしの形で深度を推定する手法に対する関心が急増している。この分野における主要な課題は、特にテクスチャが乏しい領域や動的物体が存在する状況において、堅牢かつ高精度な深度推定を実現することである。本研究では、密な対応関係(dense correspondence)に関する事前知識を深く探求することで、既存のフレームワークに明示的な幾何制約を導入するという点で、3つの主要な貢献を果たしている。第一の新規性は、推定された自己運動(ego-motion)に基づいて密な対応関係から三角測量によって得られた深度マップを用いて、文脈情報から深度推定の学習をガイドする「文脈的幾何学的深度一貫性損失(contextual-geometric depth consistency loss)」の提案である。この三角測量による深度マップは、画素間の相対距離を正確に捉えるため、文脈情報を効果的に活用できる。第二の新規性は、光流の発散(optical flow divergence)と深度勾配(depth gradient)の間に明示的かつ導出可能な関係が存在するという観察に基づくものであり、局所的な変化に特に注目した深度推定の精度向上を目的として、「微分的性質相関損失(differential property correlation loss)」が設計されている。第三の新規性は、剛体運動(rigid motion)と光流の相互作用を強化する「双方向ストリーム共調整戦略(bidirectional stream co-adjustment strategy)」の導入である。この戦略は、静的シーンの仮定の下で、剛体運動の対応関係をより正確に、かつ光流をさまざまな状況に適応させるように促進する。本研究で提案するDCPI-Depthは、これらの革新的な要素を統合し、二つの双方向的で協調的なストリームを組み合わせたフレームワークとして、複数の公的データセットにおいて最先端の性能と汎用性を達成しており、既存のあらゆる手法を上回っている。特に、テクスチャが乏しい領域や動的物体が存在する領域においても高精度な深度推定が可能であり、滑らかさの面でもより現実的な結果を示している。本研究のソースコードは、公開後、mias.group/DCPI-Depth にて公開される予定である。

DCPI-Depth:教師なしモノクロmaal深度推定における密な対応Priorの明示的導入 | 最新論文 | HyperAI超神経