FutureDepth : Apprendre à prédire le futur améliore l'estimation de la profondeur vidéo

Dans cet article, nous proposons une nouvelle approche d'estimation de profondeur vidéo, FutureDepth, qui permet au modèle d'exploiter implicitement les indices multi-images et de mouvement pour améliorer l'estimation de profondeur en apprenant à prédire le futur lors de l'entraînement. Plus précisément, nous présentons un réseau de prédiction future, F-Net, qui utilise les caractéristiques de plusieurs images consécutives et est entraîné pour prédire les caractéristiques multi-images un pas temporel en avant de manière itérative. De cette façon, F-Net apprend les informations sous-jacentes sur le mouvement et la correspondance, que nous intégrons ensuite dans le processus de décodage de profondeur. Pour enrichir l'apprentissage des indices de correspondance multi-images, nous utilisons également un réseau de reconstruction, R-Net, qui est entraîné par encodage auto-masqué adaptatif des volumes de caractéristiques multi-images. Lors de la phase d'inférence, F-Net et R-Net sont utilisés pour générer des requêtes qui travaillent avec le décodeur de profondeur ainsi qu'un réseau final de raffinement. Grâce à des expériences exhaustives sur plusieurs benchmarks, notamment NYUDv2, KITTI, DDAD et Sintel, couvrant des scénarios intérieurs, routiers et ouverts, nous montrons que FutureDepth améliore considérablement les modèles basiques, surpassant les méthodes existantes d'estimation de profondeur vidéo et établissant une nouvelle précision inégalée (state-of-the-art). De plus, FutureDepth est plus efficace que les modèles existants d'estimation de profondeur vidéo state-of-the-art et présente des latences similaires lorsque comparé aux modèles monoculaires.