Command Palette
Search for a command to run...
Réseau de segmentation d'instances 3D sensible aux bords avec priorité sémantique intelligente
Réseau de segmentation d'instances 3D sensible aux bords avec priorité sémantique intelligente
Sangpil Kim Sang Ho Yoon Hyunje Park Jinseop Yeom Giljoo Nam Hwanhee Jung Wonseok Roh
Résumé
Bien que les approches récentes de segmentation d’instances 3D fondées sur les architectures de transformer montrent des résultats prometteurs, elles échouent souvent à identifier correctement les instances présentant des apparences similaires. Elles déterminent également de manière ambiguë les contours, entraînant ainsi plusieurs erreurs de classification pour les points situés aux frontières adjacentes. Dans ce travail, nous introduisons un cadre novateur appelé EASE afin de surmonter ces défis et d’améliorer la perception des instances 3D complexes. Nous proposons tout d’abord un réseau de guidage sémantique qui exploite des connaissances sémantiques riches issues d’un modèle linguistique comme des a priori intelligents, renforçant ainsi la compréhension fonctionnelle des instances du monde réel au-delà d’un simple recours à l’information géométrique. Nous instruisons explicitement les requêtes d’instance de base à l’aide d’embeddings textuels correspondant à chaque instance, afin d’apprendre des détails sémantiques profonds. Par ailleurs, nous mettons en œuvre un module de prédiction de contours, incitant le réseau de segmentation à être sensible aux bords. Nous extrayons des cartes de contours au niveau des voxels à partir des caractéristiques ponctuelles, et les utilisons comme informations auxiliaires pour apprendre des indices de contours. Dans nos expériences étendues sur des benchmarks à grande échelle — ScanNetV2, ScanNet200, S3DIS et STPLS3D — notre méthode EASE surpasser les modèles de pointe existants, démontrant ainsi ses performances supérieures.