KPConv : Convolution flexible et déformable pour les nuages de points

Nous présentons la convolution de points noyau (Kernel Point Convolution, KPConv), une nouvelle conception de convolution de points qui opère directement sur les nuages de points sans aucune représentation intermédiaire. Les poids de convolution de KPConv sont situés dans l'espace euclidien par des points noyau et appliqués aux points d'entrée proches. La capacité d'utiliser un nombre quelconque de points noyau confère à KPConv plus de flexibilité que les convolutions sur grille fixe. De plus, ces positions sont continues dans l'espace et peuvent être apprises par le réseau. Par conséquent, KPConv peut être étendu aux convolutions déformables qui apprennent à adapter les points noyau à la géométrie locale. Grâce à une stratégie de sous-échantillonnage régulière, KPConv est également efficace et robuste face aux variations de densité. Que nos réseaux utilisent des convolutions déformables KPConv pour des tâches complexes ou des convolutions rigides KPConv pour des tâches plus simples, ils surpassent les approches actuelles en classification et segmentation sur plusieurs jeux de données. Nous proposons également des études d'ablation et des visualisations pour fournir une compréhension de ce qui a été appris par KPConv et pour valider la puissance descriptive des convolutions déformables KPConv.