要約
本論文では、Correlation For Completion Network (CFCNet) を提案します。これは、2つのデータソース間の相関関係を利用して疎深度補完を行うエンドツーエンドの深層学習モデルです。CFCNetは、RGB情報と深度情報の間に存在するセマンティックな相関特徴を最大限に捉えることを学びます。画像ピクセルのペアと疎深度マップにおける可視測定値を用いて、CFCNetは異なるデータソース間での特徴レベルの相互変換を容易にします。このような変換により、CFCNetは対応する変換されたRGB特徴に基づいて欠落した深度測定値の特徴を予測し、データを再構成することが可能となります。私たちは正規相関分析を2次元領域に拡張し、それを訓練目標の1つとして定式化しました（すなわち、「2D2CCAロス」）。多数の実験結果により、室内および室外シーンにおいて異なる実際の疎パターンに対して、最先端手法と比較してCFCNetの能力と柔軟性が確認されています。コードは以下のURLで公開されています: https://github.com/choyingw/CFCNet.