JSENet : Réseau de segmentation sémantique et de détection de contours conjoints pour les nuages de points 3D

La segmentation sémantique et la détection de contours sémantiques peuvent être considérées comme deux problèmes duaux étroitement liés en vision par ordinateur. Malgré l’évolution rapide des méthodes d’apprentissage basées sur les réseaux pour la segmentation sémantique 3D, très peu d’attention a été accordée à l’apprentissage de détecteurs de contours sémantiques 3D, et encore moins à une méthode d’apprentissage conjoint pour ces deux tâches. Dans cet article, nous abordons pour la première fois la tâche de détection de contours sémantiques 3D et proposons un nouveau réseau fully-convolutionnel à deux flux qui effectue conjointement les deux tâches. Plus précisément, nous concevons un module de raffinement conjoint qui relie explicitement les informations régionales et les informations de contour afin d’améliorer les performances des deux tâches. Par ailleurs, nous proposons une nouvelle fonction de perte qui incite le réseau à produire des résultats de segmentation sémantique aux frontières améliorées. Des évaluations étendues sur les jeux de données S3DIS et ScanNet montrent que notre méthode atteint des performances équivalentes ou supérieures aux méthodes de pointe pour la segmentation sémantique, tout en surpassant les méthodes de base pour la détection de contours sémantiques. Code disponible : https://github.com/hzykent/JSENet