Réseaux de chemins global-local pour l'estimation de profondeur monoscopique avec coupe verticaleDepth

L’estimation de profondeur à partir d’une seule image est une tâche fondamentale pouvant être appliquée à de nombreux domaines de la vision par ordinateur, et elle a connu un développement rapide avec l’évolution des réseaux de neurones convolutifs. Dans cet article, nous proposons une nouvelle architecture et une stratégie d’entraînement pour l’estimation monoscopique de profondeur afin d’améliorer davantage la précision de prédiction du réseau. Nous utilisons un encodeur hiérarchique à transformateur pour capturer et transmettre le contexte global, et concevons un décodeur léger mais puissant capable de générer une carte de profondeur tout en tenant compte de la connectivité locale. En établissant des chemins connectés entre les caractéristiques locales multi-échelles et le flux de décodage global grâce à notre module de fusion de caractéristiques sélectives, le réseau parvient à intégrer efficacement ces deux types de représentations et à restaurer des détails fins. De plus, le décodeur proposé présente de meilleures performances que les décodeurs précédemment proposés, tout en nécessitant une complexité computationnelle nettement réduite. En outre, nous améliorons la méthode d’augmentation spécifique à la profondeur en exploitant une observation clé dans le domaine de l’estimation de profondeur afin d’optimiser le modèle. Notre réseau atteint des performances de pointe sur le jeu de données challengé NYU Depth V2. Des expériences abondantes ont été menées pour valider et démontrer l’efficacité de l’approche proposée. Enfin, notre modèle démontre une meilleure capacité de généralisation et une robustesse supérieure par rapport aux modèles comparatifs.