ScaleDepth : Décomposition de l'estimation de profondeur métrique en prédiction d'échelle et estimation de profondeur relative

L’estimation de la profondeur à partir d’une seule image constitue une tâche visuelle complexe. Contrairement à l’estimation de profondeur relative, l’estimation de profondeur métrique attire davantage d’attention en raison de son importance physique concrète et de ses applications critiques dans des scénarios réels. Toutefois, les méthodes existantes d’estimation de profondeur métrique sont généralement entraînées sur des jeux de données spécifiques présentant des scènes similaires, ce qui pose des difficultés en matière de généralisation face à des variations d’échelle importantes entre les scènes. Pour relever ce défi, nous proposons une nouvelle méthode d’estimation de profondeur monoscopique appelée ScaleDepth. Notre approche décompose la profondeur métrique en une échelle de scène et une profondeur relative, et prédit ces deux composantes respectivement via un module de prédiction d’échelle consciente du sens (SASP) et un module d’estimation adaptative de profondeur relative (ARDE). La méthode ScaleDepth présente plusieurs avantages. Premièrement, le module SASP peut implicitement combiner les caractéristiques structurelles et sémantiques des images pour prédire avec précision l’échelle de la scène. Deuxièmement, le module ARDE peut estimer de manière adaptative la distribution de profondeur relative de chaque image dans un espace de profondeur normalisé. Troisièmement, notre méthode permet une estimation de profondeur métrique à la fois pour les scènes intérieures et extérieures dans un cadre unifié, sans nécessiter de définir la plage de profondeur ni de fine-tuner le modèle. Des expériences étendues montrent que notre méthode atteint des performances de pointe sur des scènes intérieures, extérieures, non contraintes et inédites. Page du projet : https://ruijiezhu94.github.io/ScaleDepth