Exploiter la géométrie locale pour la construction de fonctionnalités et de graphes afin d'améliorer le traitement des nuages de points 3D avec des réseaux de neurones graphiques

Nous proposons des améliorations simples mais efficaces des représentations des points et de la construction du graphe de voisinage local dans le cadre général des réseaux de neurones sur graphes (GNN) pour le traitement des nuages de points 3D. En premier lieu, nous proposons d’enrichir les représentations des sommets en intégrant des informations géométriques locales pertinentes des points, suivies d'une projection non linéaire via un réseau de neurones feed-forward (MLP). En second lieu, nous proposons une amélioration de la construction du graphe pour les GNN appliqués aux nuages de points 3D. Les méthodes existantes reposent sur une approche basée sur le k-plus proches voisins (k-nn) pour construire le graphe de voisinage local. Nous arguons que cette approche peut entraîner une réduction de la couverture dans les régions où les capteurs effectuent un échantillonnage dense. La méthode proposée vise précisément à atténuer ces limitations et à améliorer la couverture dans de telles situations. Étant donné que les GNN classiques ont été conçus pour fonctionner sur des graphes généraux, où les sommets n’ont pas nécessairement d’interprétation géométrique, nous considérons nos deux propositions comme une extension des graphes généraux afin d’intégrer la nature géométrique propre aux nuages de points 3D. Bien que simples, nous démontrons, à travers plusieurs benchmarks exigeants — incluant des modèles CAD relativement propres ainsi que des scans réels bruités — que la méthode proposée atteint des résultats de pointe sur des benchmarks pour la classification 3D (ModelNet40), la segmentation de parties (ShapeNet) et la segmentation sémantique (Stanford 3D Indoor Scenes Dataset). Nous montrons également que le réseau proposé permet une convergence plus rapide de l’entraînement, soit environ 40 % de cycles d’entraînement en moins pour la classification. Les détails du projet sont disponibles à l’adresse suivante : https://siddharthsrivastava.github.io/publication/geomgcnn/