IMFNet : Fusion multimodale interprétable pour l’alignement de nuages de points

Les descripteurs de points actuels de pointe ne prennent en compte que l'information structurelle, ignorant ainsi l'information texturale. Or, cette dernière est essentielle pour l’humain afin de distinguer différentes parties d’un scénario. En outre, les descripteurs de points basés sur l’apprentissage automatique actuels sont tous des « boîtes noires », dont le mécanisme par lequel les points d’origine contribuent au descripteur final reste opaque. Dans cet article, nous proposons une nouvelle méthode de fusion multimodale pour générer un descripteur de registre de nuages de points en intégrant à la fois les informations structurelles et texturales. Plus précisément, nous avons conçu un module d’attention-fusion novateur afin d’extraire des informations texturales pondérées pour l’extraction du descripteur. En outre, nous introduisons un module interprétable permettant d’expliquer la contribution des points d’origine au descripteur final. En utilisant l’élément du descripteur comme fonction de perte pour la rétropropagation jusqu’à la couche cible, nous considérons le gradient comme une mesure de l’importance de chaque point pour le descripteur final. Ce travail représente une avancée vers un apprentissage profond explicite dans le cadre du registre de nuages de points. Des expériences approfondies sur les jeux de données 3DMatch, 3DLoMatch et KITTI démontrent que le descripteur basé sur la fusion multimodale atteint une précision de pointe et améliore significativement la discriminabilité du descripteur. Nous montrons également la capacité de notre module interprétable à expliquer le processus d’extraction du descripteur de registre.