PCAM : Produit de matrices d'attention croisée pour l'alignement rigide de nuages de points

L’alignement rigide de nuages de points présentant des surappositions partielles est un problème ancien, généralement résolu en deux étapes : (a) établir des correspondances entre les nuages de points ; (b) filtrer ces correspondances afin de ne conserver que les plus fiables, afin d’estimer la transformation. Récemment, plusieurs réseaux de neurones profonds ont été proposés pour résoudre ces deux étapes conjointement. Nous nous appuyons sur ces travaux et proposons PCAM : un réseau neuronal dont l’élément clé est un produit point par point de matrices d’attention croisée, permettant de combiner à la fois des informations géométriques de bas niveau et des informations contextuelles de haut niveau afin de détecter des correspondances entre points. Ces matrices d’attention croisée permettent également l’échange d’informations contextuelles entre les nuages de points, à chaque couche, ce qui permet au réseau de construire des caractéristiques de correspondance améliorées au sein des régions de surapposition. Les expérimentations montrent que PCAM atteint des résultats de pointe parmi les méthodes qui, comme la nôtre, résolvent conjointement les étapes (a) et (b) via des réseaux profonds. Notre code et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/valeoai/PCAM.