Menschen in 4D: Rekonstruktion und Verfolgung von Menschen mit Transformers

Wir präsentieren einen Ansatz zur Rekonstruktion von Menschen und deren Verfolgung über die Zeit. Im Kern unseres Ansatzes schlagen wir eine vollständig „transformerisierte“ Version eines Netzwerks für die menschliche Mesh-Rekonstruktion vor. Dieses Netzwerk, HMR 2.0, stellt einen Fortschritt im Stand der Technik dar und zeigt die Fähigkeit, ungewöhnliche Körperhaltungen zu analysieren, die bisher aufgrund einzelner Bilder schwer zu rekonstruieren waren. Zur Analyse von Videos nutzen wir 3D-Rekonstruktionen aus HMR 2.0 als Eingabe für ein in 3D arbeitendes Verfolgungssystem. Dadurch können wir mehrere Personen gleichzeitig verfolgen und die Identitäten auch bei Verdeckungsereignissen beibehalten. Unser vollständiger Ansatz, 4DHumans, erreicht den aktuellen Stand der Technik bei der Verfolgung von Personen aus monokularen Videos. Zudem zeigen wir die Wirksamkeit von HMR 2.0 bei der nachgelagerten Aufgabe der Aktionserkennung und erzielen dabei signifikante Verbesserungen gegenüber früheren, auf Pose basierenden Ansätzen zur Aktionserkennung. Quellcode und Modelle sind auf der Projektwebsite verfügbar: https://shubham-goel.github.io/4dhumans/.