OccDepth：3Dセマンティックシーンコンプリートのための深度認識手法

3Dセマンティックシーンコンプリート（SSC）は、密な幾何学的およびセマンティックなシーン表現を提供でき、自動運転やロボットシステムの分野に応用可能である。視覚画像のみからシーンの完全な幾何構造とセマンティクスを推定することは困難であり、正確な深度情報は3D幾何構造の復元に不可欠である。本論文では、ステレオ画像（またはRGBD画像）から得られる暗黙的な深度情報を活用して、3D幾何構造の復元を支援する、初めてのステレオSSC手法であるOccDepthを提案する。特に、ステレオ画像間の相関関係を暗黙的に学習することで、3D深度認識特徴をより効果的に融合するための「ステレオソフト特徴割当（Stereo-SFA）」モジュールを導入した。入力がRGBD画像の場合、元のRGB画像と深度マップを用いて仮想的なステレオ画像を生成することが可能である。さらに、事前学習済み深度モデルを用いた知識蒸留により、幾何構造に敏感な3D特徴を獲得するための「オキュパンシー認識深度（OAD）」モジュールを採用した。また、本研究では、SSCタスクにおけるOccDepth手法のさらなる検証を目的として、改良されたTartanAirベンチマーク「SemanticTartanAir」を提供する。SemanticKITTI上で最先端のRGB推定SSC手法と比較した広範な実験の結果、本手法はmIoUで+4.82%の向上を達成しており、そのうち+2.49%はステレオ画像の利点によるもの、+2.33%は本研究で提案した深度認識手法によるものである。本研究のコードおよび学習済みモデルは、https://github.com/megvii-research/OccDepth にて公開されている。