要約
我々は、スケールの曖昧性、ハードウェアの異質性、一般化性能といった深度推定における主要な課題に取り組む、堅牢な深度推定パイプライン「HYBRIDDEPTH」を提案する。HYBRIDDEPTHは、一般的なモバイルデバイスで容易に取得可能なフォーカルスタック（focal stack）を活用し、正確なメトリック深度マップの生成を実現する。近年の単一画像からの深度推定技術の進展によって得られる深度事前知識（depth priors）を組み込むことで、既存手法と比較してより高い構造的詳細を再現する。本研究では、新たに開発したモバイルクライアントを用いてフォーカルスタックを取得し、それをGPU搭載サーバーに送信して深度推定を実行するエンドツーエンドシステムとしてパイプラインを評価した。包括的な定量的および定性的な分析の結果、DDFF12やNYU Depth V2といった一般的なデータセットにおいて、HYBRIDDEPTHは最先端（SOTA）モデルを上回る性能を示した。さらに、ゼロショット一般化能力においても優れた性能を発揮した。NYU Depth V2で学習したモデルは、ARKitScenesにおいてもSOTAモデルを上回るゼロショット性能を達成し、Mobile Depthデータセットにおいてはより構造的に正確な深度マップを生成した。コードは以下のURLで公開されている：https://github.com/cake-lab/HybridDepth/