要約
セマンティックシーンコンプリート（SSC）は、単一の深度画像および／またはRGB画像から、3Dシーンの形状補完（SC）とセマンティックカテゴリの予測を同時に実行することを目的としている。既存の大多数のSSC手法は、複数の物体が近接して配置された複雑な領域、特に反射性または暗色の表面を持つ物体に対して対応しづらく、その主な原因は以下の2つの課題に起因する：（1）センサからの深度値の信頼性の低さによる幾何情報の喪失、および（2）3D形状とセマンティックラベルを同時に予測する際に生じるセマンティックの混同。これらの問題に対処するため、本研究では「セマンティックガイド付きセマンティックシーンコンプリート（SG-SSC）」と呼ぶフレームワークを提案する。このフレームワークは、セマンティックガイド付きフェージョン（SGF）とボリュームガイド付きセマンティック予測器（VGSP）から構成される。SGFは2Dセマンティックセグメンテーションマップをガイドとして用い、RGBと深度特徴を適応的に融合することで、深度画像における欠損値に起因する幾何情報の欠落を補完し、信頼性の低い深度情報に対してより堅牢な処理を実現する。一方、VGSPはSCとSSCのタスク間の相互利益を活用し、SSCが占有確率の高いボクセルのカテゴリ予測に集中できるようにするとともに、SCがセマンティック事前知識を活用してボクセルの占有状態をより正確に予測できるようにする。実験結果から、SG-SSCはNYU、NYUCAD、SemanticKITTIの各データセットにおいて、既存の最先端手法を上回る性能を示した。モデルおよびコードは、https://github.com/aipixel/SG-SSC にて公開されている。