PAConv: Position Adaptive Convolution mit dynamischer Kernel-Zusammenstellung auf Punktwolken

Wir stellen Position Adaptive Convolution (PAConv) vor, eine generische Faltungsmethode für die Verarbeitung von 3D-Punktwolken. Der Schlüssel von PAConv liegt darin, den Faltungskern dynamisch durch die Zusammenstellung grundlegender Gewichtsmatrizen aus einem Gewichtsspeicher (Weight Bank) zu konstruieren, wobei die Koeffizienten dieser Matrizen selbstadaptiv aus den Punktpositionen mittels eines ScoreNet gelernt werden. Auf diese Weise wird der Kernel datengetrieben aufgebaut, wodurch PAConv gegenüber 2D-Faltungen eine größere Flexibilität erhält und somit besser auf die irregulären und ungeordneten Strukturen von Punktwolken eingehen kann. Zudem wird die Komplexität des Lernprozesses reduziert, da Gewichtsmatrizen kombiniert werden, anstatt die Faltungskerne direkt brutoforciert aus den Punktpositionen vorherzusagen.Darüber hinaus unterscheidet sich PAConv von bestehenden Punktfaltungsoperatoren, deren Netzwerkarchitekturen oft stark spezifisch ausgelegt sind, indem es nahtlos in klassische MLP-basierte Punktwolken-Pipelines integriert wird, ohne die Netzwerkkonfiguration zu verändern. Selbst auf einfachen Netzwerken erreicht unsere Methode Leistungen, die nahe an oder sogar die aktuell besten Modelle übertreffen, und verbessert sowohl bei Klassifikations- als auch bei Segmentierungsaufgaben signifikant die Baseline-Leistung, dabei jedoch mit annehmbarer Effizienz. Um das Verständnis von PAConv zu vertiefen, werden umfassende Ablationstudien und Visualisierungen vorgestellt. Der Quellcode ist unter https://github.com/CVMI-Lab/PAConv veröffentlicht.