Apprentissage bout-en-bout de descripteurs locaux à multi-vues pour les nuages de points 3D

Dans ce travail, nous proposons un cadre end-to-end pour apprendre des descripteurs locaux à plusieurs vues pour des nuages de points 3D. Afin d’adopter une représentation multi-vue similaire, les études existantes utilisent des points de vue prédéfinis de manière manuelle lors d’une étape de prétraitement pour la rendu, ce qui se fait de manière déconnectée de l’étape ultérieure d’apprentissage des descripteurs. Dans notre cadre, nous intégrons le rendu multi-vue directement dans les réseaux neuronaux en utilisant un rendu différentiable, ce qui permet aux points de vue de devenir des paramètres optimisables, permettant ainsi de capturer un contexte local plus informatif autour des points d’intérêt. Pour obtenir des descripteurs discriminants, nous avons également conçu un module de pooling par vue douce afin de fusionner de manière attentive les caractéristiques convolutionnelles issues des différentes vues. Des expériences étendues sur des benchmarks existants de registre 3D montrent que notre méthode surpasse les descripteurs locaux existants, tant sur le plan quantitatif que qualitatif.