ManyDepth2 : Estimation auto-supervisée monoculaire de profondeur sensible au mouvement dans des scènes dynamiques

Malgré les progrès réalisés dans l’estimation de profondeur monoscopique auto-supervisée, des défis subsistent dans les scénarios dynamiques en raison de l’assomption d’un monde statique. Dans cet article, nous présentons Manydepth2, une méthode permettant d’obtenir une estimation de profondeur précise tant pour les objets dynamiques que pour les arrière-plans statiques, tout en préservant une efficacité computationnelle élevée. Pour surmonter les difficultés posées par le contenu dynamique, nous intégrons le flux optique et une estimation grossière de profondeur monoscopique afin de construire un cadre de référence pseudo-statique. Ce cadre est ensuite utilisé pour établir un volume de coût sensible au mouvement en collaboration avec le cadre cible classique. En outre, afin d’améliorer la précision et la robustesse de l’architecture du réseau, nous proposons un réseau de profondeur basé sur l’attention, qui intègre efficacement les informations provenant de cartes de caractéristiques à différentes résolutions grâce à l’incorporation de mécanismes d’attention par canal et d’attention non locale. Par rapport aux méthodes présentant un coût computationnel similaire, Manydepth2 atteint une réduction significative d’environ cinq pour cent de l’erreur quadratique moyenne (RMSE) pour l’estimation de profondeur monoscopique auto-supervisée sur le jeu de données KITTI-2015. Le code est disponible à l’adresse suivante : https://github.com/kaichen-z/Manydepth2.