3D スケッチ認識を用いた半教師あり構造事前情報に基づく意味的シーン補完

セマンティックシーンコンプリーション（SSC）の目的は、単一視点からの観測データを基に、場面内の物体の体積占有とセマンティックラベルの完成された3Dボクセル表現を同時に予測することである。ボクセル解像度が向上するにつれて計算コストが爆発的に増大するため、現行の最先端手法の多くは詳細な予測を犠牲にして低解像度表現に調整せざるを得ない。このため、ボクセル解像度は性能ボトルネックを引き起こす重要な課題の一つとなっている。本論文では、低解像度ボクセル表現に深度情報を埋め込む新しい幾何学に基づく戦略を提案する。これにより、部屋のレイアウトや物体のサイズ・形状などの十分な幾何学的情報を効率的に符号化し、場面の見えない部分を構造を保った詳細で推論することが可能となる。まず、新しい3Dスケッチ認識特徴量埋め込み手法を提案し、幾何学的情報を明示的にかつ効果的に符号化する。次に、3Dスケッチを利用して軽量な3Dスケッチハリューシネーションモジュールを取り入れたシンプルながら効果的なセマンティックシーンコンプリーションフレームワークを開発する。このフレームワークは半教師あり構造事前学習戦略を通じて占有とセマンティックラベルの推論をガイドする。我々は提案した幾何学的埋め込み手法が従来のSSCフレームワークにおける深度特徴量学習よりも優れていることを示す。最終的なモデルは入力および出力ともに60 x 36 x 60解像度の3Dボリュームのみを使用しながら、3つの公開ベンチマークで一貫して最先端手法を超える性能を達成している。コードおよび補足資料は https://charlesCXK.github.io で提供される予定である。