単一画像から3Dシーン形状を復元する学習

単眼深度推定において大きな進歩が見られますが、最近の最先端手法は、混合データ深度予測学習で使用されるシフト不変再構成損失によって引き起こされる未知の深度シフト、および可能性のある未知のカメラ焦点距離のため、正確な3Dシーン形状を復元することができません。本研究ではこの問題を詳細に検討し、まず単一の単眼画像から未知のスケールとシフトまで深度を予測し、次に3D点群エンコーダを使用して欠落している深度シフトと焦点距離を予測することで現実的な3Dシーン形状を復元する二段階フレームワークを提案します。さらに、混合データセットで学習された深度予測モデルの性能向上のために、画像レベルでの正規化回帰損失と法線に基づく幾何学的損失を提案します。我々の深度モデルは9つの未見データセットでテストされ、ゼロショットデータセット汎化において最先端の性能を達成しました。コードは以下のURLから入手可能です: https://git.io/Depth