NeuralPCI: Raum-zeitliches Neuronales Feld für die nichtlineare Interpolation von mehreren 3D-Punktwolkenframes

In den letzten Jahren hat sich der Fokus auf die Interpolationsaufgabe der Computer Vision erheblich verstärkt. Trotz der enormen Fortschritte bei der Video-Interpolation bleibt die Interpolation von Punktwolken (point cloud interpolation) noch unzureichend erforscht. Gleichzeitig machen zahlreiche nichtlineare, große Bewegungen in realen Szenarien die Aufgabe der Punktwolken-Interpolation herausfordernder. Im Hinblick auf diese Probleme präsentieren wir NeuralPCI: ein end-to-end 4D räumlich-zeitliches Neuronales Feld für die 3D-Punktwolken-Interpolation, das implizit Mehrbildinformationen integriert, um nichtlineare, große Bewegungen sowohl in Innenraum- als auch in Außenszenarien zu verarbeiten. Darüber hinaus haben wir einen neuen Mehrbild-Punktwolken-Interpolationsdatensatz namens NL-Drive erstellt, der große nichtlineare Bewegungen in Autonomiefahrzeugszenarien abdeckt und die Überlegenheit unserer Methode besser demonstriert. Letztendlich erreicht NeuralPCI den aktuellen Stand der Technik (state-of-the-art performance) sowohl auf den DHB-Datensätzen (Dynamic Human Bodies) als auch auf dem NL-Drive-Datensatz. Neben der Interpolationsaufgabe kann unsere Methode natürlich auf die Extrapolation von Punktwolken, Morphing und automatisches Labeling erweitert werden, was ihr großes Potenzial in anderen Bereichen zeigt. Der Quellcode ist unter https://github.com/ispc-lab/NeuralPCI verfügbar.