HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Faltungsbasierte Sequenzgenerierung für die aktionsbasierte Synthese von Skelettdaten

{Huahan Yan Zhizhong Li Yuanjun Xiong Sijie Yan}

Abstract

In dieser Arbeit zielen wir darauf ab, lange Aktionen als Folgen von Skeletten zu generieren. Die generierten Sequenzen müssen kontinuierliche, sinnvolle menschliche Aktionen darstellen und gleichzeitig Kohärenz zwischen den Körperanteilen aufrechterhalten. Anstatt die Skelette sequenziell gemäß einem autoregressiven Modell zu erzeugen, schlagen wir einen Rahmenwerk vor, das die gesamte Sequenz gleichzeitig generiert, indem es von einer Folge latenten Vektoren transformiert, die aus einem Gauss-Prozess (GP) sampling stammen. Dieses Framework, benannt als Convolutional Sequence Generation Network (CSGN), modelliert gleichzeitig Strukturen in zeitlicher und räumlicher Dimension. Es erfasst die zeitliche Struktur auf mehreren Skalen durch den GP-Prior und zeitliche Faltungen; zudem etabliert es die räumliche Verbindung zwischen den latenten Vektoren und den Skelettgraphen über ein neuartiges Graph-Verfeinerungsverfahren. Es ist bemerkenswert, dass CSGN bidirektionale Transformationen zwischen dem latenten und dem beobachteten Raum ermöglicht, wodurch eine semantische Manipulation der Aktionssequenzen in verschiedenster Form möglich wird. Wir haben empirische Studien auf mehreren Datensätzen durchgeführt, darunter eine Reihe hochwertiger Tanzsequenzen, die wir selbst gesammelt haben. Die Ergebnisse zeigen, dass unser Framework in der Lage ist, lange Aktionssequenzen zu erzeugen, die sowohl über Zeitpunkte hinweg als auch zwischen den Körperanteilen kohärent sind.

Benchmarks

BenchmarkMethodikMetriken
human-action-generation-on-ntu-rgb-dCSGN
FID (CS): 6.030
FID (CV): 7.114

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Faltungsbasierte Sequenzgenerierung für die aktionsbasierte Synthese von Skelettdaten | Forschungsarbeiten | HyperAI