HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefenbasierte Generierung, Vorhersage und Vervollständigung von menschlichen Aktionssequenzen

Cai Haoye Bai Chunyan Tai Yu-Wing Tang Chi-Keung

Zusammenfassung

Aktuelle Ergebnisse im Bereich des Video-Generierens mittels Deep Learning sind begrenzt, während es nur wenige erste Ansätze zur Video-Vorhersage gibt und keine relevanten signifikanten Ergebnisse im Bereich der Video-Vervollständigung existieren. Dies liegt an der starken schlecht gestellten Natur dieser drei Probleme. In diesem Artikel konzentrieren wir uns auf menschliche Aktionsvideos und schlagen einen allgemeinen, zweistufigen tiefen Rahmenwerk vor, der menschliche Aktionsvideos ohne Einschränkungen oder mit einer beliebigen Anzahl von Einschränkungen generiert und somit die drei Probleme einheitlich adressiert: Video-Generierung ohne Eingabebilder, Video-Vorhersage anhand der ersten few Frames sowie Video-Vervollständigung anhand der ersten und letzten Frames. Um das Problem handhabbar zu machen, trainieren wir im ersten Schritt ein tiefes generatives Modell, das eine menschliche Körperhaltungssequenz aus zufälligem Rauschen erzeugt. Im zweiten Schritt wird ein Skelett-zu-Bild-Netzwerk trainiert, das dazu dient, ein menschliches Aktionsvideo zu generieren, wenn die vollständige Körperhaltungssequenz aus dem ersten Schritt vorliegt. Durch die Einführung der zweistufigen Strategie umgehen wir die ursprünglich schlecht gestellten Probleme und erreichen erstmals hochwertige Ergebnisse im Bereich der Video-Generierung, -Vorhersage und -Vervollständigung mit deutlich längeren Dauer. Wir präsentieren quantitative und qualitative Bewertungen, die zeigen, dass unser zweistufiger Ansatz state-of-the-art-Methoden in der Video-Generierung, -Vorhersage und -Vervollständigung übertrifft. Eine Demonstration unserer Videoergebnisse ist unter https://iamacewhite.github.io/supp/index.html einsehbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp