Tief hierarchische Darstellung von Punktwolken-Videos mittels raumzeitlicher Zerlegung
In Punktwolken-Videos sind die Punkt-Koordinaten unregelmäßig und ungeordnet, während die Punktzeitstempel regelmäßige Strukturen und eine Ordnung aufweisen. Gitterbasierte Netzwerke für die herkömmliche Videobehandlung können nicht direkt zur Modellierung roher Punktwolken-Videos eingesetzt werden. Daher schlagen wir in dieser Arbeit ein punktbasiertes Netzwerk vor, das rohe Punktwolken-Videos direkt verarbeitet. Zunächst bewahren wir durch die Einführung eines punktbasierten Rohr-Elements („point tube“) die räumlich-zeitliche lokale Struktur von Punktwolken-Videos, wobei dieses Rohr einen lokalen Bereich entlang räumlicher und zeitlicher Dimensionen abdeckt. Durch schrittweise Untertemperierung von Frames und Punkten sowie eine sukzessive Erhöhung des räumlichen Radius, je weiter die Punktmerkmale in höhere Schichten des Netzwerks propagieren, kann das Punktröhren-Element die Videostruktur hierarchisch räumlich-zeitlich erfassen. Zweitens verringern wir den Einfluss der räumlichen Irregularität auf die zeitliche Modellierung, indem wir Raum und Zeit bei der Extraktion der Rohrrepräsentationen entkoppeln. Konkret wird eine räumliche Operation eingesetzt, um die lokale Struktur jeder räumlichen Region innerhalb des Rohrs zu erfassen, während eine zeitliche Operation die Dynamik dieser räumlichen Regionen entlang des Rohrs modelliert.