3DMatch : Apprentissage de descripteurs géométriques locaux à partir de reconstructions RGB-D

L'appariement de caractéristiques géométriques locales sur des images de profondeur réelles est une tâche difficile en raison du caractère bruyant, de la faible résolution et de l'incomplétude des données d'acquisition 3D. Ces difficultés limitent les performances des méthodes actuelles les plus avancées, qui sont généralement basées sur des histogrammes de propriétés géométriques. Dans cet article, nous présentons 3DMatch, un modèle axé sur les données qui apprend un descripteur de patch volumétrique local pour établir des correspondances entre des données 3D partielles. Pour rassembler des données d'entraînement pour notre modèle, nous proposons une méthode d'apprentissage de caractéristiques auto-supervisée qui exploite les millions d'étiquettes de correspondance présentes dans les reconstructions RGB-D existantes. Les expériences montrent que notre descripteur non seulement parvient à appairer la géométrie locale dans de nouvelles scènes pour la reconstruction, mais qu'il se généralise également à différentes tâches et échelles spatiales (par exemple, l'alignement au niveau des instances de modèles d'objets pour le défi Amazon Picking, et la correspondance de surfaces maillées). Les résultats indiquent que 3DMatch surpasse constamment les autres approches de pointe avec une marge significative. Le code source, les données, les bancs d'essai et les modèles pré-entraînés sont disponibles en ligne à l'adresse http://3dmatch.cs.princeton.edu.