Manydepth2：動的シーンにおける運動感知型自己教師付き単眼深度推定

自己教師付き単眼深度推定の進展にもかかわらず、静的環境を仮定するという前提に依存するため、動的シーンにおける課題は依然として残っている。本論文では、動的物体と静的背景の両方に対して高精度な深度推定を実現しつつ、計算効率を維持するためのManydepth2を提案する。動的コンテンツに起因する課題に対処するため、光流（optical flow）と粗い単眼深度を用いて仮想的な静的参照フレームを構築する。この参照フレームは、標準的なターゲットフレームと連携して、動きを認識するコストボリューム（motion-aware cost volume）を構築するのに活用される。さらに、ネットワークアーキテクチャの精度およびロバスト性を向上させるために、チャネルアテンションと非局所アテンションの両機構を組み込んだ、アテンションベースの深度推定ネットワークを提案する。計算コストが類似する他の手法と比較して、Manydepth2はKITTI-2015データセットにおける自己教師付き単眼深度推定において、均方根誤差（RMSE）を約5%大幅に低減した。コードは以下のURLから入手可能である：https://github.com/kaichen-z/Manydepth2。