DeltaConv : Opérateurs anisotropes pour l'apprentissage profond géométrique sur les nuages de points

L'apprentissage à partir de données de nuages de points 3D a rapidement pris de l'ampleur, motivé par le succès du deep learning sur les images et la disponibilité croissante de données 3D. Dans cet article, nous visons à construire des couches de convolution anisotropiques qui fonctionnent directement sur la surface dérivée d'un nuage de points. Cela est difficile en raison du manque d'un système de coordonnées global pour les directions tangentes sur les surfaces. Nous introduisons DeltaConv, une couche de convolution qui combine des opérateurs géométriques issus du calcul vectoriel pour permettre la construction de filtres anisotropiques sur les nuages de points. Comme ces opérateurs sont définis sur des champs scalaires et vectoriels, nous séparons le réseau en un flux scalaire et un flux vectoriel, connectés par les opérateurs. Le flux vectoriel permet au réseau de représenter, évaluer et traiter explicitement les informations directionnelles. Nos convolutions sont robustes et simples à implémenter, et elles correspondent ou surpassent les approches state-of-the-art sur plusieurs benchmarks, tout en accélérant l'entraînement et l'inférence.