HyperAIHyperAI

Command Palette

Search for a command to run...

Faltungsbasierte Sequenzgenerierung für die aktionsbasierte Synthese von Skelettdaten

Huahan Yan Zhizhong Li Yuanjun Xiong Sijie Yan

Zusammenfassung

In dieser Arbeit zielen wir darauf ab, lange Aktionen als Folgen von Skeletten zu generieren. Die generierten Sequenzen müssen kontinuierliche, sinnvolle menschliche Aktionen darstellen und gleichzeitig Kohärenz zwischen den Körperanteilen aufrechterhalten. Anstatt die Skelette sequenziell gemäß einem autoregressiven Modell zu erzeugen, schlagen wir einen Rahmenwerk vor, das die gesamte Sequenz gleichzeitig generiert, indem es von einer Folge latenten Vektoren transformiert, die aus einem Gauss-Prozess (GP) sampling stammen. Dieses Framework, benannt als Convolutional Sequence Generation Network (CSGN), modelliert gleichzeitig Strukturen in zeitlicher und räumlicher Dimension. Es erfasst die zeitliche Struktur auf mehreren Skalen durch den GP-Prior und zeitliche Faltungen; zudem etabliert es die räumliche Verbindung zwischen den latenten Vektoren und den Skelettgraphen über ein neuartiges Graph-Verfeinerungsverfahren. Es ist bemerkenswert, dass CSGN bidirektionale Transformationen zwischen dem latenten und dem beobachteten Raum ermöglicht, wodurch eine semantische Manipulation der Aktionssequenzen in verschiedenster Form möglich wird. Wir haben empirische Studien auf mehreren Datensätzen durchgeführt, darunter eine Reihe hochwertiger Tanzsequenzen, die wir selbst gesammelt haben. Die Ergebnisse zeigen, dass unser Framework in der Lage ist, lange Aktionssequenzen zu erzeugen, die sowohl über Zeitpunkte hinweg als auch zwischen den Körperanteilen kohärent sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Faltungsbasierte Sequenzgenerierung für die aktionsbasierte Synthese von Skelettdaten | Paper | HyperAI