モノクロ深度推定における垂直カット深度を用いたグローバル・ローカルパスネットワーク

単一画像からの深度推定は、コンピュータビジョン分野における多岐にわたる応用が可能な重要なタスクであり、畳み込みニューラルネットワークの発展に伴い急速に進展してきている。本論文では、モノクロラル深度推定のネットワークの予測精度をさらに向上させるために、新たな構造および学習戦略を提案する。我々は、グローバルな文脈情報を捕捉・伝達するために階層的トランスフォーマー・エンコーダを導入し、局所的な接続性を考慮しつつ、軽量かつ強力なデコーダを設計した。提案する選択的特徴融合モジュールにより、マルチスケールの局所特徴とグローバルなデコーディングストリームの間に接続パスを構築することで、ネットワークは局所的表現とグローバルな表現を統合し、細部の復元を可能にしている。さらに、従来のデコーダと比較して、提案デコーダは著しく低い計算複雑性で優れた性能を発揮している。また、深度推定における重要な観察結果を活用することで、深度特化型の増強手法を改善し、モデルの性能を向上させた。提案ネットワークは、挑戦的な深度データセットNYU Depth V2において、最先端の性能を達成した。広範な実験により、本手法の有効性が検証され、示されている。最終的に、他の比較モデルと比較して、本モデルはより優れた汎化能力およびロバスト性を示している。