MeshWalker : Compréhension approfondie des maillages par des marches aléatoires

La plupart des tentatives visant à représenter des formes 3D pour l'apprentissage profond se sont concentrées sur les grilles volumiques, les images multivues et les nuages de points. Dans cet article, nous examinons la représentation la plus populaire des formes 3D en informatique graphique – le maillage triangulaire – et nous nous demandons comment il peut être utilisé dans l'apprentissage profond. Les rares tentatives pour répondre à cette question proposent d'adapter les convolutions et le pooling afin de convenir aux Réseaux Neuronaux Convolutifs (CNNs). Cet article propose une approche très différente, appelée MeshWalker, pour apprendre directement la forme à partir d'un maillage donné. L'idée clé est de représenter le maillage par des marches aléatoires sur sa surface, qui « explorent » la géométrie et la topologie du maillage. Chaque marche est organisée sous forme de liste de sommets, imposant ainsi une certaine régularité au maillage. La marche est ensuite alimentée dans un Réseau Neuronal Récurent (RNN) qui « mémorise » l'historique de la marche. Nous montrons que notre approche atteint des résultats d'état de l'art pour deux tâches fondamentales d'analyse de forme : la classification de formes et la segmentation sémantique. De plus, même un très petit nombre d'exemples suffit pour l'apprentissage, ce qui est particulièrement important car l'acquisition de grands ensembles de données de maillages est difficile.