Descripteurs locaux profonds 3D distinctifs

Nous présentons une méthode simple mais efficace pour apprendre des descripteurs locaux profonds 3D distinctifs (DIPs), pouvant être utilisés pour l’alignement de nuages de points sans nécessiter d’alignement initial. Des patches de nuages de points sont extraits, canonicalisés par rapport à leur cadre de référence local estimé, puis encodés en des descripteurs compacts et invariants à la rotation par un réseau neuronal profond basé sur PointNet. Les DIPs se généralisent efficacement entre différentes modalités sensorielles, car ils sont appris de manière end-to-end à partir de points localement et aléatoirement échantillonnés. Étant donnée qu’ils codent uniquement des informations géométriques locales, les DIPs sont robustes au bruit, aux occlusions et aux régions manquantes. Nous évaluons et comparons les DIPs à d’autres descripteurs manuels et profonds sur plusieurs jeux de données intérieurs et extérieurs, comprenant des nuages de points reconstruits à l’aide de capteurs variés. Les résultats montrent que les DIPs : (i) atteignent des performances comparables à l’état de l’art sur des scènes intérieures RGB-D (jeu de données 3DMatch), (ii) surpassent largement l’état de l’art sur des scènes extérieures acquises par balayage laser (jeu de données ETH), et (iii) se généralisent à des scènes intérieures reconstruites à l’aide du système Visual-SLAM d’Android ARCore. Code source : https://github.com/fabiopoiesi/dip.