RGBDに基づく次元分解残差ネットワークによる3Dセマンティックシーン補完

RGB画像は深度画像とは異なり、色とテクスチャに関する詳細な情報を含んでおり、これが3次元意味場景補完（3D Semantic Scene Completion: SSC）の性能向上に重要な補完情報として利用できます。SSCは3次元形状補完（Shape Completion: SC）と意味場景ラベリングから構成されていますが、既存の多くの手法では深度のみを入力として使用しており、これが性能のボトルネックとなっています。さらに、最先端の手法では3次元畳み込みニューラルネットワーク（3D Convolutional Neural Networks: 3D CNNs）が用いられていますが、これらのネットワークは複雑でパラメータ数も膨大です。本研究では、軽量な次元分解残差ネットワーク（Dimensional Decomposition Residual network: DDR）を提案し、3次元密集予測タスクに適用します。新規提案する因子化畳み込み層はネットワークパラメータを効果的に削減し、深度と色情報の多尺度融合機構は同時に補完精度とセグメンテーション精度を向上させることが可能です。我々の手法は2つの公開データセットにおいて優れた性能を示しています。最新手法であるSSCNetと比較して、SC-IoUで5.9%、SSC-IoUで5.7%の改善を達成しました。これはSSCNetに対してわずか21%のネットワークパラメータと16.6%のFLOPsしか使用していないにもかかわらずです。