RFNet-4D++: Gegenständliche Rekonstruktion und Flussabschätzung aus 4D-Punktwolken mit kreuzaufmerksamen räumlich-zeitlichen Merkmalen

Die Objektrekonstruktion aus 3D-Punktwolken ist seit langem ein Forschungsproblem im Bereich der Computer Vision und Computergrafik und hat erstaunliche Fortschritte gemacht. Die Rekonstruktion aus zeitlich veränderlichen Punktwolken (auch als 4D-Punktwolken bekannt) wird jedoch oft vernachlässigt. In dieser Arbeit schlagen wir eine neue Netzarchitektur vor, die RFNet-4D++ genannt wird, welche sowohl Objekte als auch ihre Bewegungsflüsse aus 4D-Punktwolken gemeinsam rekonstruiert. Das zentrale Erkenntnis ist, dass die gleichzeitige Durchführung beider Aufgaben durch das Lernen von räumlichen und zeitlichen Merkmalen aus einer Folge von Punktwolken die einzelnen Aufgaben verbessern kann, was zu einer erhöhten Gesamtleistung führt. Um diese Fähigkeit zu beweisen, haben wir ein Modul für das Lernen von zeitlichen Vektorfeldern unter Verwendung eines unüberwachten Lernansatzes für die Flussabschätzungsaufgabe entwickelt, das durch überwachtes Lernen von räumlichen Strukturen zur Objektrekonstruktion unterstützt wird. Ausführliche Experimente und Analysen auf Benchmark-Datensätzen bestätigten die Effektivität und Effizienz unserer Methode. Wie die experimentellen Ergebnisse zeigen, erreicht unsere Methode den Stand der Technik sowohl in der Flussabschätzung als auch in der Objektrekonstruktion und ist dabei erheblich schneller als existierende Methoden sowohl im Training als auch bei der Inferenz. Unser Code und unsere Daten sind unter https://github.com/hkust-vgd/RFNet-4D verfügbar.