PointCNN: Faltung auf $\mathcal{X}$-transformierten Punkten

Wir präsentieren ein einfaches und allgemeines Framework für das Feature Learning aus Punktwolken. Der Schlüssel zum Erfolg von CNNs ist der Faltungsbetreiber (Convolution Operator), der in der Lage ist, räumliche lokale Korrelationen in Daten zu nutzen, die dicht in Gittern repräsentiert sind (z.B. Bilder). Punktwolken sind jedoch unregelmäßig und ungeordnet, daher wird das direkte Anwenden von Kernen auf den mit den Punkten assoziierten Features zu einem Verlust von Forminformationen und einer Varianz bezüglich der Punktfolge führen. Um diese Probleme zu lösen, schlagen wir vor, eine $\mathcal{X}$-Transformation aus den Eingabepunkten zu lernen, um zwei Ziele gleichzeitig zu fördern. Das erste Ziel ist das Gewichten der mit den Punkten assoziierten Eingabe-Features, und das zweite Ziel ist die Permutation der Punkte in eine latente und potentiell kanonische Ordnung. Anschließend werden die elementweisen Produkt- und Summenoperationen des üblichen Faltungsbetreibers (Convolution Operator) auf die $\mathcal{X}$-transformierten Features angewendet. Die vorgeschlagene Methode verallgemeinert typische CNNs auf das Feature Learning aus Punktwolken, daher nennen wir sie PointCNN. Experimente zeigen, dass PointCNN vergleichbare oder bessere Leistungen als state-of-the-art Methoden auf mehreren anspruchsvollen Benchmark-Datensätzen und Aufgaben erzielt.