Appliquer les contraintes géométriques de la normale virtuelle pour la prédiction de profondeur

La prédiction de profondeur monoculaire joue un rôle crucial dans la compréhension de la géométrie des scènes 3D. Bien que les méthodes récentes aient réalisé des progrès impressionnants en termes de métriques d'évaluation, comme l'erreur relative pixel par pixel, la plupart négligent les contraintes géométriques dans l'espace 3D. Dans ce travail, nous mettons en évidence l'importance des contraintes géométriques 3D de haut ordre pour la prédiction de profondeur. En concevant un terme de perte qui impose une contrainte géométrique simple, à savoir les directions normales virtuelles déterminées par trois points tirés au hasard dans l'espace 3D reconstruit, nous pouvons améliorer considérablement la précision de la prédiction de profondeur. De manière significative, le fait que cette profondeur prédite soit suffisamment précise permet maintenant de récupérer directement des structures 3D de bonne qualité de la scène, telles que le nuage de points et les normales de surface, à partir de la profondeur, éliminant ainsi la nécessité d'entraîner de nouveaux sous-modèles comme c'était le cas précédemment. Les expériences menées sur deux benchmarks, NYU Depth-V2 et KITTI, démontrent l'efficacité de notre méthode et sa performance à l'état de l'art.