SPLATNet : Réseaux de Treillis Épars pour le Traitement de Nuages de Points

Nous présentons une architecture de réseau pour le traitement des nuages de points qui opère directement sur une collection de points représentés comme un ensemble éparse d'échantillons dans un treillis de haute dimension. L'application naïve de convolutions sur ce treillis se révèle inefficace, tant en termes de mémoire que de coût computationnel, lorsque la taille du treillis augmente. À la place, notre réseau utilise des couches de convolution bilatérale éparse comme éléments constitutifs. Ces couches maintiennent l'efficacité en utilisant des structures d'indexation pour appliquer les convolutions uniquement sur les parties occupées du treillis et permettent des spécifications flexibles de la structure du treillis, favorisant ainsi l'apprentissage hiérarchique et spatialement conscient des caractéristiques, ainsi que la raisonnement conjoint 2D-3D (joint 2D-3D reasoning). Les représentations basées sur les points et celles basées sur les images peuvent être facilement intégrées dans un réseau doté de telles couches, et le modèle résultant peut être formé de manière end-to-end. Nous présentons des résultats sur des tâches de segmentation 3D où notre approche surpassent les techniques existantes à l'état de l'art.