CSPN++: コンテキストとリソースに配慮した畳み込み空間伝播ネットワークの学習による深度完了

深度補完は、対応する色情報画像が与えられた場合に、疎な深度マップを濃密なものに変換する問題を取り扱います。畳み込み空間伝播ネットワーク（CSPN）は、この問題の最先端（SoTA）手法の一つであり、シーンの構造的な詳細を復元します。本論文では、CSPN++を提案します。これは、伝播に使用する畳み込みカーネルサイズと反復回数を学習することで、効果性と効率性をさらに向上させます。これにより、各ピクセルに対して必要なコンテキストと計算リソースが動的に割り当てられるようになります。具体的には、これらの2つのハイパーパラメータの学習をアーキテクチャ選択問題として定式化し、まずカーネルサイズと反復回数のさまざまな設定を定義します。その後、各ピクセルで事前に定義された設定から適切に組み立てたり選択したりするためのソフトウェイトパラメータのセットを訓練します。実験では、重み付け組み立てが大幅な精度向上につながることを見出しており、「コンテキスト認識型CSPN」と呼んでいます。一方、「リソース認識型CSPN」である重み付け選択は、類似またはそれ以上の精度で計算リソースを大幅に削減できます。また、CSPN++では計算予算に応じて自動的に必要なリソースを調整することが可能です。最後に、ノイズや不正確な疎深度の副作用を避けるために、ゲート付きネットワークをCSPN++内に埋め込んでいます。これにより性能がさらに向上します。Kitti深度補完ベンチマークでの評価結果から、CSPN++はCSPNおよび他のSoTA手法よりも大幅に性能を改善していることを示しています。