Réseau Auto-Rectify pour l'estimation non supervisée de la profondeur en intérieur

L’estimation de profondeur à partir d’une seule vue à l’aide de réseaux de neurones convolutifs (CNN) entraînés à partir de vidéos non étiquetées a montré un potentiel prometteur. Toutefois, des résultats excellents ont principalement été obtenus dans des scénarios de conduite en milieu urbain, et ces méthodes échouent fréquemment dans d’autres contextes, en particulier dans des vidéos prises en intérieur avec des appareils tenus à la main. Dans ce travail, nous démontrons que les mouvements propres complexes observés dans les environnements tenus à la main constituent un obstacle critique pour l’apprentissage de la profondeur. Notre analyse fondamentale indique que la rotation agit comme du bruit durant l’entraînement, contrairement à la translation (base), qui fournit des signaux de supervision. Pour surmonter ce défi, nous proposons une méthode de prétraitement des données qui rectifie les images d’entraînement en éliminant leurs rotations relatives, afin d’assurer un apprentissage plus efficace. La performance nettement améliorée confirme la validité de notre approche. Dans une optique d’apprentissage end-to-end sans nécessiter de prétraitement, nous introduisons un Auto-Rectify Network doté de fonctions de perte novatrices, capable d’apprendre automatiquement à rectifier les images durant l’entraînement. En conséquence, nos résultats surpassent de manière significative la méthode état de l’art non supervisée précédente sur le jeu de données exigeant NYUv2. Nous démontrons également la capacité de généralisation de notre modèle entraîné sur les jeux de données ScanNet et Make3D, ainsi que l’universalité de notre méthode d’apprentissage sur les jeux de données 7-Scenes et KITTI.