すべてのボクセルが等しくない：ポイント-ボクセル視点からの意味的シーン補完

本稿では、3次元シーンのセマンティックおよび占有状態を予測する有用なタスクであるセマンティックシーンコンプリート（Semantic Scene Completion: SSC）を再検討する。これまでの多数の手法は、局所的なシーン構造を保持するため、ボクセル化されたシーン表現を用いることが一般的である。しかし、可視領域における空のボクセルが存在するため、ネットワークの深さが増すにつれて計算リソースの過剰な浪費が生じ、結果としてコンプリートの品質に制限が生じるという課題がある。このジレンマを解決するために、本研究では新たなポイント-ボクセル集約ネットワークを提案する。まず、可視領域の空のボクセルを除去することで、ボクセル化されたシーンを点群に変換し、深層点群ストリームを用いて効率的にシーンのセマンティック情報を捉える。一方で、2層の3次元畳み込みのみを含む軽量なボクセルストリームを用いて、ボクセル化されたシーンの局所構造を維持する。さらに、ボクセルストリームから得られる構造的詳細をポイントストリームに融合するための非等方性ボクセル集約演算子と、セマンティックラベルを用いてポイントストリームにおけるアップサンプリングプロセスを強化するセマンティックに配慮した伝搬モジュールを設計した。実験の結果、本モデルは深度画像のみを入力として用いる条件下で、2つのベンチマークにおいて従来の最先端手法を大きく上回ることを示した。