SIGNet : Perception de la géométrie 3D non supervisée aidée par des instances sémantiques

L'apprentissage non supervisé pour la perception géométrique (profondeur, flux optique, etc.) est d'un grand intérêt pour les systèmes autonomes. Les travaux récents sur l'apprentissage non supervisé ont fait des progrès considérables dans la perception de la géométrie ; cependant, ils ignorent généralement la cohérence des objets et se comportent mal dans des scénarios avec des environnements sombres et bruyants. En revanche, les algorithmes d'apprentissage supervisé, qui sont robustes, nécessitent de grands ensembles de données géométriques étiquetés. Cet article présente SIGNet, un cadre novateur qui fournit une perception géométrique robuste sans nécessiter d'étiquettes informatives sur la géométrie. Plus précisément, SIGNet intègre des informations sémantiques pour rendre les prédictions de profondeur et de flux cohérentes avec les objets et résistantes aux conditions d'éclairage faibles. SIGNet est montré améliorer l'apprentissage non supervisé de pointe pour la prédiction de profondeur de 30 % (en erreur relative quadratique). En particulier, SIGNet améliore les performances de la classe d'objets dynamiques de 39 % en prédiction de profondeur et de 29 % en prédiction de flux. Notre code sera rendu disponible à l'adresse https://github.com/mengyuest/SIGNet