PartNet : Un réseau de décomposition récursive des parties pour la segmentation de formes fine et hiérarchique

Les approches d'apprentissage profond pour la segmentation de formes 3D sont généralement formulées comme un problème d'étiquetage multiclasses. Les modèles existants sont formés pour un ensemble fixe d'étiquettes, ce qui limite considérablement leur flexibilité et leur adaptabilité. Nous avons opté pour une décomposition récursive descendante et développé le premier modèle d'apprentissage profond pour la segmentation hiérarchique des formes 3D, basé sur des réseaux neuronaux récursifs. Partant d'une forme complète représentée par un nuage de points, notre modèle effectue une décomposition binaire récursive, où les réseaux de décomposition à tous les nœuds de la hiérarchie partagent les mêmes poids. À chaque nœud, un classifieur de nœud est entraîné pour déterminer le type (adjacence ou symétrie) et les critères d'arrêt de sa décomposition. Les caractéristiques extraites dans les nœuds de haut niveau sont propagées récursivement aux nœuds de bas niveau. Ainsi, les décompositions significatives des niveaux supérieurs fournissent des indices contextuels forts qui contrôlent les segmentations des niveaux inférieurs. Parallèlement, pour augmenter la précision de la segmentation à chaque nœud, nous améliorons la caractéristique contextuelle récursive avec la caractéristique de forme extraite pour la partie correspondante. Notre méthode segmente une forme 3D en nuage de points en un nombre non fixe de parties, en fonction de la complexité de la forme, montrant une grande généralité et flexibilité. Elle atteint des performances au niveau de l'état de l'art, tant pour la segmentation fine que sémantique, sur le banc d'essai public et sur un nouveau banc d'essai de segmentation fine proposé dans cette étude. Nous montrons également son application pour l'affinement des parties fines dans la reconstruction image-forme.