SyncSpecCNN : Convolutionnel neuronal spectral synchronisé pour la segmentation de formes 3D

Dans cet article, nous étudions le problème d'annotation sémantique sur des modèles 3D représentés sous forme de graphes de formes. Une approche fonctionnelle est adoptée pour représenter l'information localisée sur les graphes, de sorte que les annotations telles que la segmentation de parties ou les points clés ne sont rien d'autre que des fonctions indicatrices de sommets à valeurs 0-1. Contrairement aux images qui sont des grilles 2D, les graphes de formes sont des structures de données irrégulières et non isomorphiques. Pour permettre la prédiction de fonctions de sommets par des réseaux neuronaux convolutifs, nous recourons à la méthode CNN spectrale qui permet le partage de poids en paramétrant les noyaux dans le domaine spectral engendré par les bases propres du laplacien du graphe. Dans ce cadre, notre réseau, nommé SyncSpecCNN, vise à surmonter deux défis majeurs : comment partager les coefficients et effectuer une analyse multi-échelle dans différentes parties du graphe pour une seule forme, et comment partager l'information entre des formes liées mais différentes qui peuvent être représentées par des graphes très distincts. Pour atteindre ces objectifs, nous introduisons une paramétrisation spectrale des noyaux convolutifs dilatés et un réseau spectral transformateur (spectral transformer network). Nous avons expérimentalement testé notre SyncSpecCNN sur diverses tâches, notamment la segmentation de parties de formes 3D et la prédiction de points clés 3D. Des performances d'état de l'art ont été obtenues sur tous les jeux de données de référence.