Appariement multi-graphe profond conjoint et apprentissage de la géométrie 3D à partir de collections d'images 2D hétérogènes

L’appariement de graphes vise à établir des correspondances entre les sommets de graphes de manière à ce que les attributs des nœuds et des arêtes soient cohérents. Récemment, diverses méthodes fondées sur l’apprentissage ont été proposées pour établir des correspondances entre des points-clés d’images à l’aide de formulations de graphes profonds. Bien que ces approches se concentrent principalement sur l’apprentissage des attributs des nœuds et des arêtes, elles négligent complètement la géométrie 3D des objets 3D sous-jacents représentés dans les images 2D. Nous comblons cette lacune en proposant un cadre entraînable qui exploite les réseaux de neurones sur graphes pour apprendre un modèle de géométrie 3D déformable à partir de collections d’images hétérogènes, c’est-à-dire un ensemble d’images montrant différentes instances d’objets appartenant à la même catégorie. Expérimentalement, nous démontrons que notre méthode surpasser les approches récentes fondées sur l’apprentissage pour l’appariement de graphes en termes de précision et d’erreur de cohérence cyclique, tout en permettant en outre d’obtenir la géométrie 3D sous-jacente des objets représentés dans les images 2D.