Aggrégation hiérarchique pour la segmentation d'instances 3D

La segmentation d'instances sur les nuages de points constitue une tâche fondamentale dans la perception des scènes 3D. Dans ce travail, nous proposons un cadre concis basé sur le regroupement, nommé HAIS, qui exploite pleinement les relations spatiales entre points et ensembles de points. Étant donné que les méthodes basées sur le regroupement peuvent entraîner une sur-segmentation ou une sous-segmentation, nous introduisons une agrégation hiérarchique pour générer progressivement des propositions d'instances, à savoir une agrégation de points pour un regroupement préliminaire des points en ensembles, suivie d'une agrégation d'ensembles pour la construction d'instances complètes à partir d'ensembles. Une fois les instances 3D complètes obtenues, un sous-réseau de prédiction intra-instance est utilisé pour filtrer les points bruités et évaluer la qualité des masques. HAIS est rapide (seulement 410 ms par trame) et n'a pas besoin de suppression de non-maximum. Il obtient la première place sur le benchmark ScanNet v2, atteignant un AP50 record de 69,9 %, surpassant largement les méthodes précédentes de l'état de l'art (SOTA). En outre, les résultats de l'état de l'art sur le jeu de données S3DIS confirment sa bonne capacité de généralisation. Le code sera disponible à l'adresse suivante : https://github.com/hustvl/HAIS.