要約
深度推定機能は3D認識に有用です。民生用の深度カメラはリアルタイムで深度画像と色情報を捕捉することができます。しかし、光沢のある、透明な、または遠方の表面はセンサによって適切にスキャンされません。その結果、センサからの深度情報の強化と修復は重要な課題となっています。深度補完は、センサが検出できない部分の穴を埋めることを目指しており、これはまだ機械学習にとって複雑なタスクです。従来の手動調整方法では限界に達していますが、ニューラルネットワークに基づく方法は周辺の深度値から出力をコピーし補間する傾向があります。これにより境界がぼけてしまい、深度マップの構造が失われます。したがって、私たちの主な仕事はエッジの明瞭さを維持しながら完成度を向上させるためのエンドツーエンドネットワークを設計することです。私たちはこれまで画像補完分野で使用されてきた自己注意機構を利用し、各畳み込み層でより有用な情報を抽出することで完全な深度マップを強化します。さらに、境界一貫性という概念を提案して深度マップの品質と構造を向上させます。実験結果は私たちの自己注意機構と境界一貫性スキーマの有効性を証明しており、Matterport3Dデータセットでの以前の最先端の深度補完手法よりも優れた性能を示しています。私たちのコードは公開されており、以下のURLからアクセスできます: https://github.com/tsunghan-wu/Depth-Completion.