要約
単一の深度画像および/またはRGB画像からシーンの占有状態と意味ラベルを同時に推定するタスクとして、セマンティックシーンコンプリーション（SSC）があります。SSCにおける主要な課題は、形状、配置、可視性に大きな変動があるさまざまな物体や物質を効果的に3Dコンテキストからモデリングすることです。このような変動に対処するために、我々は柔軟性と強力さが競合する手法である標準的な3D畳み込みやその一部のバリエーションでは不可能な新しいモジュール、すなわち非等方性畳み込み（anisotropic convolution）を提案します。標準的な3D畳み込みが固定された3D受容野に制限されているのに対して、我々のモジュールは各ボクセルごとに次元非等方性をモデル化することができます。基本的なアイデアは、3D畳み込みを3つの連続した1D畳み込みに分解することで非等方性の3D受容野を可能にし、それぞれの1D畳み込みのカーネルサイズを動的に適応的に決定することです。複数のこのような非等方性畳み込みモジュールを積み重ねることで、ボクセルごとのモデリング能力がさらに向上し、モデルパラメータ量も管理可能な範囲内に保つことができます。NYU-Depth-v2とNYUCADという2つのSSCベンチマークでの広範な実験により、提案手法の優れた性能が示されています。我々のコードは https://waterljwant.github.io/SSC/ で公開されています。