D3Feat : Apprentissage conjoint de la détection dense et de la description des caractéristiques locales 3D

Une bonne alignement de nuages de points repose souvent sur la mise en place robuste de correspondances épaisses à l’aide de descripteurs locaux 3D discriminants. Malgré l’évolution rapide des descripteurs de caractéristiques 3D basés sur l’apprentissage automatique, peu d’attention a été portée à l’apprentissage des détecteurs de caractéristiques 3D, encore moins à l’apprentissage conjoint de ces deux tâches. Dans cet article, nous exploitons un réseau convolutif entièrement 3D pour les nuages de points, et proposons un nouveau mécanisme d’apprentissage pratique qui prédit de manière dense, pour chaque point 3D, à la fois un score de détection et un descripteur de caractéristique. En particulier, nous introduisons une stratégie de sélection de points clés qui surmonte les variations inhérentes de densité présentes dans les nuages de points 3D, et proposons en outre une perte de détection auto-supervisée guidée par les résultats de correspondance de caractéristiques obtenus en temps réel durant l’entraînement. Enfin, notre méthode atteint des résultats de pointe dans des scénarios intérieurs et extérieurs, évalués sur les jeux de données 3DMatch et KITTI, et démontre une forte capacité de généralisation sur le jeu de données ETH. Dans une optique d’utilisation pratique, nous montrons qu’en adoptant un détecteur de caractéristiques fiable, un échantillonnage réduit du nombre de caractéristiques suffit à obtenir un alignement précis et rapide des nuages de points. Lien vers le code