カスケードコンテキストピラミッドを用いたフル解像度3Dセマンティックシーン補完

意味的シーン補完（Semantic Scene Completion, SSC）は、3次元シーンの体積占有率と意味的カテゴリを同時に予測することを目指しています。これにより、知能デバイスが周囲のシーンを理解し、対話することが可能になります。しかし、高メモリ要件のため、現行の手法では低解像度の補完予測しか生成できず、一般的に物体の詳細が失われてしまいます。さらに、これらの手法は多尺度空間コンテキストを無視しており、3次元推論において重要な役割を果たすこれらのコンテキストが考慮されていません。これらの問題に対処するため、本研究では単一深度画像から体積3次元シーンの占有状態と意味的ラベルを共同で推論する新しい深層学習フレームワークである連続コンテキストピラミッドネットワーク（Cascaded Context Pyramid Network, CCPNet）を提案します。提案されたCCPNetは連続的なコンテキストピラミッドによってラベリングの一貫性を向上させます。また、低レベル特徴に基づいてガイド残差精製（Guided Residual Refinement, GRR）モジュールを使用して物体の細部構造を段階的に復元します。我々が提案するフレームワークには以下の3つの優れた利点があります：(1) 性能向上のために明示的に3次元空間コンテキストをモデル化します；(2) 構造保存型詳細を持つフル解像度3次元ボリュームを生成します；(3) 低メモリ要件で軽量なモデルを作成し、高い拡張性を持たせています。広範な実験結果から、単一視点深度マップのみを使用した場合でも、我々が提案するフレームワークは高品質なSSC結果を生成し、合成SUNCGデータセットおよび実際のNYUデータセットにおいて最先端アプローチを超えることが示されています。