単一の深度画像からの意味的シーン補完

本論文は、シングルビューの深度マップ観測からシーンの体積占有と意味ラベルの完全な3Dボクセル表現を生成するタスクである意味的なシーン補完に焦点を当てています。従来の研究では、シーン補完と深度マップの意味ラベリングを別々に扱ってきました。しかし、我々はこれらの2つの問題が密接に関連していることを観察しました。これらの2つのタスクの相関性を活用するために、シングル深度画像を入力として受け取り、カメラ視錐内のすべてのボクセルに対して同時に占有状態と意味ラベルを出力するエンドツーエンドの3D畳み込みネットワークである意味的なシーン補完ネットワーク（SSCNet）を導入します。当該ネットワークは、受容野を効率的に拡大し、3Dコンテキスト学習を可能にする希薄化に基づく3Dコンテキストモジュールを使用しています。ネットワークの訓練のために、我々はSUNCGという手動で作成された大規模な合成3Dシーンデータセットを作成しました。このデータセットには密集した体積アノテーションが含まれています。我々の実験結果は、結合モデルが各タスクを個別に処理する方法よりも優れ、また意味的なシーン補完タスクにおいて代替手法よりも優れていることを示しています。