SG-PGM : Réseau de Correspondance Partielle de Graphes avec Fusion Sémantique et Géométrique pour l'Alignement de Graphes de Scène 3D et ses Tâches Dépendantes

Les graphes de scène ont été récemment introduits dans la compréhension spatiale 3D en tant que représentation complète de la scène. L'alignement entre les graphes de scène 3D constitue la première étape de nombreuses tâches en aval, telles que l'enregistrement assisté par le graphe de scène, le mosaïquage, le contrôle d'overlap et la navigation robotique. Dans cette étude, nous abordons l'alignement des graphes de scène 3D comme un problème de correspondance partielle de graphes et proposons une solution à l'aide d'un réseau neuronal de graphe. Nous réutilisons les caractéristiques géométriques apprises par une méthode d'enregistrement de nuages de points et associons les caractéristiques géométriques au niveau des points, regroupées, aux caractéristiques sémantiques au niveau des nœuds grâce à notre module de fusion des caractéristiques conçu spécialement pour cela. La correspondance partielle est rendue possible grâce à l'utilisation d'une méthode apprenante pour sélectionner les k paires de nœuds les plus similaires. Les tâches en aval ultérieures, telles que l'enregistrement de nuages de points, sont réalisées en exécutant un réseau d'enregistrement pré-entraîné au sein des régions correspondantes. Nous proposons également une méthode de reclassement des correspondances ponctuelles qui utilise l'alignement nœud-par-nœud du graphe de scène 3D pour réattribuer les poids aux candidats de correspondance issus d'une méthode d'enregistrement pré-entraînée des nuages de points. Cette méthode réduit les fausses correspondances ponctuelles estimées, particulièrement dans les cas où le chevauchement est faible. Les expériences montrent que notre méthode améliore la précision d'alignement de 10 à 20 % dans des scénarios à faible chevauchement et avec transformations aléatoires, surpassant ainsi les travaux existants dans plusieurs tâches en aval.