Kein Schmerz, großer Gewinn: Klassifizierung dynamischer Punktwolkenfolgen mit statischen Modellen durch Anpassung von Merkmalsniveau-Raum-Zeit-Flächen

Szene-Fluss ist ein leistungsfähiges Werkzeug zur Erfassung des Bewegungsfeldes von 3D-Punktwolken. Allerdings ist es schwierig, flussbasierte Modelle direkt für die Klassifizierung dynamischer Punktwolken anzuwenden, da die unstrukturierten Punkte es effizient und effektiv zu verfolgen machen, oder dies sogar unmöglich machen. Um 3D-Bewegungen ohne explizites Verfolgen von Korrespondenzen zu erfassen, schlagen wir ein kinematikinspiriertes neuronales Netzwerk (Kinet) vor, das den kinematischen Begriff der ST-Oberflächen auf den Merkmalsraum verallgemeinert. Durch die Entfaltung des Normal-Lösers der ST-Oberflächen im Merkmalsraum kodiert Kinet implizit die Dynamik auf Merkmalsniveau und profitiert von der Verwendung reifer Backbones für die Verarbeitung statischer Punktwolken. Mit nur geringfügigen Änderungen an den Netzwerkstrukturen und einem niedrigen Rechenaufwand kann unser Framework nahtlos mit einem gegebenen statischen Modell gemeinsam trainiert und bereitgestellt werden. Experimente auf NvGesture, SHREC'17, MSRAction-3D und NTU-RGBD zeigen seine Effektivität in Bezug auf Leistung, Effizienz sowohl in der Anzahl der Parameter als auch in der Berechnungskomplexität sowie seine Vielseitigkeit bei verschiedenen statischen Backbones. Auffällig erreicht Kinet eine Genauigkeit von 93,27 % auf MSRAction-3D mit nur 3,20 Mio. Parametern und 10,35 Mrd. FLOPS.