360度室内画像からの幾何構造に基づく正則化深度推定

360度室内画像における深度と幾何構造の相関関係に着目し、シーンの幾何構造を活用して深度推定を行う新たな学習ベースのフレームワークを提案する。具体的には、室内シーンの幾何構造をコーナー、境界、平面の集合として表現する。一方で、深度マップが推定された後、その推定深度マップから幾何構造を推論することが可能であり、この幾何構造は深度推定における正則化項として機能する。他方で、画像から推定されたシーンの幾何構造は、深度推定における事前知識（prior）として役立つ。しかし、室内シーンに存在する家具の影響により、深度データまたは画像データから幾何構造を正確に推定することは困難である。この課題を克服するため、幾何構造の特徴から深度推定を促進し、また推定された深度マップから幾何構造を推論するためのアテンションマップを導出する。本フレームワークの各構成要素の有効性を制御された条件下で検証するため、3550枚の360度室内画像から構成される合成データセット「Shanghaitech-Kujiale Indoor 360 dataset」をレンダリングした。標準的なデータセットにおける広範な実験により、本手法の有効性を実証した。さらに、本手法が反事実的深度（counterfactual depth）の推定にも適用可能であることを示した。