要約
本研究では、画像と疎な深度測定値から密な深度マップを推定する手法を提示する。この手法は、合成データを活用して疎な点群と密な自然形状との関連性を学習し、画像を根拠として予測された深度マップの妥当性を検証する。我々が学習する自然形状に関する事前知識は、入力として画像を用いず、疎な深度情報のみを必要とするため、合成データから実データへのモデル転移において共変量シフト（covariate shift）の影響を受けない。これにより、真値が豊富に用意された大量の合成データを活用して、再構成プロセスにおいて最も困難なトポロジー推定を学習し、画像の光度的証拠に基づいて予測を精緻化することが可能となる。本手法は従来の方法と比較してパラメータ数が少ないにもかかわらず、屋内および屋外のベンチマークデータセットにおいていずれも最先端の性能を達成している。コードは以下にて公開されている：https://github.com/alexklwong/learning-topology-synthetic-data。