NDDepth : Estimation monocabale de profondeur assistée par distance normale

L'estimation de profondeur monoscopique a suscité un vif intérêt dans la communauté du traitement d'image en raison de ses nombreuses applications. Dans cet article, nous proposons un nouveau cadre d'apprentissage profond piloté par la physique (géométrie) pour l'estimation de profondeur monoscopique, en supposant que les scènes 3D sont constituées de plans par morceaux. Plus précisément, nous introduisons une nouvelle tête de sortie « normale-distance », qui fournit au niveau des pixels la normale de surface et la distance du plan à l'origine, permettant ainsi de déduire la profondeur à chaque position. Parallèlement, les normales et les distances sont régularisées par une contrainte de cohérence plane nouvellement conçue. Nous intégrons également une tête supplémentaire de profondeur afin d'améliorer la robustesse du cadre proposé. Pour exploiter pleinement les avantages de ces deux têtes, nous développons un module itératif de raffinement contrastif efficace, qui affine la profondeur de manière complémentaire en fonction de l'incertitude de profondeur. Des expériences étendues montrent que la méthode proposée surpasser les meilleurs résultats antérieurs sur les jeux de données NYU-Depth-v2, KITTI et SUN RGB-D. Notamment, elle obtient la première place parmi toutes les soumissions sur le benchmark en ligne de prédiction de profondeur KITTI au moment de la soumission.