Segmentation Interactive d'Objets dans les Nuages de Points 3D

Nous proposons une approche interactive pour le segmention d'instances en 3D, permettant aux utilisateurs de collaborer itérativement avec un modèle d'apprentissage profond afin de segmenter des objets directement dans un nuage de points 3D. Les méthodes actuelles de segmentation d'instances en 3D sont généralement formées de manière entièrement supervisée, ce qui nécessite de grandes quantités d'étiquettes d'entraînement coûteuses et ne généralise pas bien aux classes non vues lors de l'entraînement. Peu de travaux ont tenté d'obtenir des masques de segmentation 3D en utilisant des interactions humaines. Les méthodes existantes s'appuient sur les retours d'utilisateurs dans le domaine des images 2D. Par conséquent, les utilisateurs doivent constamment basculer entre les images 2D et les représentations 3D, et des architectures personnalisées sont employées pour combiner plusieurs modalités d'entrée. Ainsi, l'intégration avec les modèles 3D standards existants n'est pas simple. L'idée centrale de ce travail est de permettre aux utilisateurs d'interagir directement avec les nuages de points 3D en cliquant sur les objets 3D souhaités (ou leur arrière-plan) pour segmenter la scène de manière interactive dans un cadre ouvert. Plus précisément, notre méthode ne nécessite aucune donnée d'entraînement du domaine cible et peut s'adapter à de nouveaux environnements où aucun ensemble d'entraînement approprié n'est disponible. Notre système ajuste continuellement la segmentation des objets en fonction des retours utilisateur et atteint des masques de segmentation dense 3D précis avec un minimum d'effort humain (peu de clics par objet). Outre son potentiel pour l'étiquetage efficace de grands ensembles de données 3D variés, notre approche, où l'utilisateur interagit directement avec l'environnement 3D, ouvre la voie à de nouvelles applications dans la réalité augmentée/virtuelle (AR/VR) et l'interaction homme-robot.