Command Palette
Search for a command to run...
OccuSeg : Segmentation d'instances 3D consciente de l'occupation
OccuSeg : Segmentation d'instances 3D consciente de l'occupation
Lei Han Tian Zheng Lan Xu Lu Fang
Résumé
La segmentation d’instances 3D, dont les applications sont nombreuses en robotique et en réalité augmentée, connaît actuellement un fort intérêt. Contrairement aux images 2D, qui ne représentent que des observations projetées de l’environnement, les modèles 3D permettent une reconstruction métrique des scènes, sans ambiguïté liée à l’occlusion ni à l’échelle. Dans cet article, nous définissons la « taille d’occupation 3D » comme le nombre de voxels occupés par chaque instance. Cette notion présente un avantage significatif en termes de robustesse des prédictions, sur laquelle repose la proposition d’un nouveau schéma de segmentation d’instances 3D, nommé OccuSeg, sensible à l’occupation. Notre approche d’apprentissage multi-tâches produit simultanément un signal d’occupation et des représentations par embarquement (embedding), dont l’entraînement des embeddings spatiaux et fonctionnels est adapté en fonction de leurs différences à l’échelle. Notre schéma de regroupement (clustering) bénéficie d’une comparaison fiable entre la taille d’occupation prédite et celle obtenue après regroupement, ce qui favorise un regroupement correct des échantillons difficiles tout en évitant une sur-segmentation. L’approche proposée atteint des performances de pointe sur trois jeux de données réels : ScanNetV2, S3DIS et SceneNN, tout en maintenant une efficacité élevée.