BFANet : Repenser la segmentation sémantique 3D par une analyse des caractéristiques de frontière

La segmentation sémantique 3D joue un rôle fondamental et crucial dans la compréhension des scènes 3D. Bien que les techniques actuelles de pointe se concentrent principalement sur l’amélioration des performances globales de la segmentation sémantique 3D selon des métriques générales (telles que le mIoU, le mAcc et l’oAcc), elles négligent malheureusement l’analyse des régions particulièrement difficiles à segmenter. Dans cet article, nous repensons la segmentation sémantique 3D à travers une perspective plus fine, mettant en lumière des complexités subtiles qui sont habituellement masquées par des métriques de performance globales. Plus précisément, nous avons classé les erreurs de segmentation 3D en quatre catégories complètes, accompagnées de métriques d’évaluation spécifiquement conçues pour chacune. À partir de ce cadre catégoriel, nous proposons un nouveau réseau de segmentation sémantique 3D appelé BFANet, intégrant une analyse approfondie des caractéristiques des frontières sémantiques. Premièrement, nous avons conçu un module frontière-sémantique permettant de décomposer les caractéristiques des nuages de points en composantes sémantiques et frontières, puis de fusionner leurs files d’attente de requêtes afin d’améliorer les caractéristiques sémantiques par une attention ciblée. Deuxièmement, nous introduisons un algorithme plus concis et accéléré pour le calcul des pseudo-étiquettes de frontière, qui est 3,9 fois plus rapide que l’état de l’art, tout en étant compatible avec les augmentations de données et permettant un calcul efficace pendant l’entraînement. Des expériences étendues sur des jeux de données standards confirment l’efficacité de notre modèle BFANet, validant ainsi l’importance de mettre l’accent sur les quatre métriques spécifiquement conçues. Le code est disponible à l’adresse suivante : https://github.com/weiguangzhao/BFANet.