不確実性認識を用いた適応的なスリムボリューム表現によるディープステレオ

私たちは、複数のRGB画像から3次元再構成を行うための不確実性認識型連続ステレオネットワーク（Uncertainty-aware Cascaded Stereo Network: UCS-Net）を提案します。多視点ステレオ（Multi-View Stereo: MVS）は、多視点画像から細かいシーン幾何学を再構成することを目指しています。従来の学習ベースのMVS手法では、各平面で固定された深度仮説を使用して平面スウィープボリュームから視点ごとの深度を推定します。これは一般的に所望の精度を得るためには密にサンプリングされた平面が必要であり、高解像度の深度を得るのは非常に困難です。これに対して、我々は適応的な薄いボリューム（Adaptive Thin Volumes: ATVs）を提案します。ATVでは、各平面の深度仮説が空間的に変動し、以前のピクセルごとの深度予測の不確実性に適応します。私たちのUCS-Netは3つの段階で構成されています。第1段階では小さな標準的な平面スウィープボリュームを処理して低解像度の深度を予測します。その後の2つの段階では、ATVを使用してより高い解像度と精度で深度を精緻化します。特に、我々は分散に基づく不確実性推定を使用してATVを適応的に構築することを提案しています。この微分可能なプロセスにより、合理的かつ細かい空間分割が導入されます。私たちのマルチステージフレームワークは、増加する深度解像度と精度で広大なシーン空間を段階的に分割し、粗い部分から細かい部分へと進んで高完全性と高精度でのシーン再構成を可能にします。我々は様々な課題のあるデータセットにおいて、最新のベンチマークと比較して当手法が優れた性能を達成していることを示しました。