Réseaux de correspondance de graphes neuronaux pour la reconnaissance de gestes 3D à faible exemple

Nous proposons les réseaux Neural Graph Matching (NGM), un cadre novateur permettant d’apprendre à reconnaître une classe d’action 3D précédemment inconnue à partir de très peu d’exemples. Cela est réalisé en exploitant la structure intrinsèque des données 3D grâce à une représentation graphique. Cette approche permet de modulariser notre modèle et de garantir une forte efficacité en données dans le cadre de l’apprentissage peu supervisé. Plus précisément, les réseaux NGM apprennent de manière end-to-end un générateur de graphes et une fonction métrique de correspondance de graphes, afin d’optimiser directement l’objectif d’apprentissage peu supervisé. Nous évaluons NGM sur deux jeux de données de reconnaissance d’actions 3D, CAD-120 et PiGraphs, et montrons que l’apprentissage à la fois de la génération et de la correspondance de graphes conduit à une amélioration significative de la reconnaissance d’actions 3D en peu d’exemples par rapport aux méthodes baselines holistiques.