Ein generischer diffusionbasierter Ansatz zur 3D-Gestenprädiktion menschlicher Körperhaltungen in freier Umgebung

Die Vorhersage von 3D-Menschenpose in realen Szenarien, auch bekannt als Human-Pose-Vorhersage, ist unvermeidlich Rauschen in den Eingabedaten ausgesetzt, das durch ungenaue 3D-Pose-Schätzungen und Verdeckungen entsteht. Um diesen Herausforderungen zu begegnen, stellen wir einen diffusionbasierten Ansatz vor, der gegebene verrauschte Beobachtungen vorhersagen kann. Wir formulieren die Vorhersageaufgabe als ein Entrauschungsproblem, bei dem sowohl Beobachtung als auch Vorhersage als eine einzige Sequenz mit fehlenden Elementen (entweder in der Beobachtungs- oder der Vorhersageperiode) betrachtet werden. Alle fehlenden Elemente werden als Rauschen behandelt und mit unserem bedingten Diffusionsmodell entrauscht. Um die Leistung bei langfristiger Vorhersage zu verbessern, präsentieren wir ein zeitlich kaskadiertes Diffusionsmodell. Wir zeigen die Vorteile unseres Ansatzes an vier öffentlich verfügbaren Datensätzen (Human3.6M, HumanEva-I, AMASS und 3DPW), wobei wir die derzeit beste Leistung erreichen. Zudem zeigen wir, dass unser Framework generisch genug ist, um jedes 3D-Pose-Vorhersagemodell als Vorverarbeitungsschritt zur Reparatur der Eingaben und als Nachverarbeitungsschritt zur Verfeinerung der Ausgaben zu verbessern. Der Quellcode ist online verfügbar: \url{https://github.com/vita-epfl/DePOSit}.