UniSeg3D est un cadre de compréhension de scène 3D unifié proposé par des chercheurs de l'Université des sciences et technologies de Huazhong en 2024.Un cadre unifié pour la compréhension des scènes 3D", publié dans NeurIPS 2024. Le framework peut implémenter 6 tâches différentes de segmentation de nuages de points 3D au sein du même modèle, notamment la segmentation panoptique, la segmentation sémantique, la segmentation d'instance, la segmentation interactive, la segmentation de référence et la segmentation à vocabulaire ouvert.

Le framework niSeg3D unifie ces tâches en un seul modèle, facilitant le partage d'informations entre les tâches grâce à des mécanismes de représentation et de traitement partagés, améliorant ainsi la compréhension globale des scènes 3D. Le cadre conçoit des méthodes de distillation des connaissances et d'apprentissage contrastif pour transférer des connaissances spécifiques entre différentes tâches, améliorant ainsi les performances du modèle.

Dans la partie expérimentale, UniSeg3D a démontré des performances qui surpassent les méthodes de pointe actuelles (SOTA) dans trois benchmarks (ScanNet20, ScanRefer et ScanNet200).