Flot de scène monoculaire multi-images auto-supervisé

L’estimation du flux 3D dans une scène à partir d’une séquence d’images monoculaires attire de plus en plus d’attention en raison de la simplicité et de l’économie du dispositif d’acquisition. En raison de la forte mal-poséité du problème, la précision des méthodes actuelles reste limitée, en particulier celle des approches efficaces et en temps réel. Dans cet article, nous proposons un réseau de flux de scène monoculaire à plusieurs trames basé sur un apprentissage auto-supervisé, qui améliore la précision par rapport aux réseaux précédents tout en conservant une efficacité en temps réel. À partir d’une base avancée à deux trames utilisant une architecture à décodeur divisé, nous introduisons (i) un modèle à plusieurs trames reposant sur une entrée à trois trames et des connexions à LSTM convolutif, (ii) une perte census consciente des occlusions pour améliorer la précision, et (iii) une stratégie de déconnexion du gradient afin d’améliorer la stabilité d’entraînement. Sur le jeu de données KITTI, nous obtenons une précision au niveau de l’état de l’art parmi les méthodes monoculaires de flux de scène basées sur l’apprentissage auto-supervisé.