Trois méthodes pour améliorer la segmentation sémantique à l’aide de l’estimation de profondeur auto-supervisée

L’entraînement de réseaux profonds pour la segmentation sémantique nécessite de grandes quantités de données d’entraînement étiquetées, ce qui constitue un défi majeur en pratique, le marquage des masques de segmentation étant un processus extrêmement laborieux. Pour répondre à cette problématique, nous proposons un cadre de segmentation sémantique semi-supervisée amélioré par une estimation auto-supervisée de la profondeur à partir de séquences d’images non étiquetées. Plus précisément, nous présentons trois contributions clés : (1) nous transférons les connaissances issues des caractéristiques apprises lors de l’estimation auto-supervisée de la profondeur vers la segmentation sémantique ; (2) nous mettons en œuvre une forte augmentation de données en combinant images et étiquettes à l’aide de la géométrie de la scène ; (3) nous exploitons la diversité des caractéristiques de profondeur ainsi que le degré de difficulté d’apprentissage de la profondeur dans un cadre étudiant-enseignant afin de sélectionner les échantillons les plus utiles à annoter pour la segmentation sémantique. Nous validons le modèle proposé sur le jeu de données Cityscapes, où les trois modules démontrent des gains de performance significatifs, et atteignons des résultats de pointe pour la segmentation sémantique semi-supervisée. L’implémentation est disponible à l’adresse suivante : https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth.