HyperAIHyperAI

Command Palette

Search for a command to run...

Fg-T2M: Feinabgestimmte textgesteuerte Generierung menschlicher Bewegung mittels Diffusionsmodell

Yin Wang Zhiying Leng Frederick W. B. Li Shun-Cheng Wu Xiaohui Liang

Zusammenfassung

Die textgesteuerte Generierung menschlicher Bewegungen im Bereich des Computer Vision ist sowohl von großer Bedeutung als auch herausfordernd. Derzeitige Methoden sind jedoch auf die Erzeugung entweder deterministischer oder ungenauer Bewegungssequenzen beschränkt und können die erforderlichen zeitlichen und räumlichen Beziehungen nicht effektiv steuern, um einer gegebenen Textbeschreibung gerecht zu werden. In dieser Arbeit präsentieren wir eine feinabgestimmte Methode zur Generierung hochwertiger, bedingter menschlicher Bewegungssequenzen, die präzise Textbeschreibungen unterstützen. Unser Ansatz besteht aus zwei zentralen Komponenten: 1) einem sprachstrukturunterstützten Modul, das genaue und vollständige Sprachmerkmale konstruiert, um die Textinformationen optimal auszunutzen; und 2) einem kontextbewussten, schrittweisen Inferenzmodul, das benachbarte und globale semantische sprachliche Merkmale aus flachen und tiefen Graphen-Neuralen Netzen lernt, um eine mehrstufige Inferenz zu ermöglichen. Experimente zeigen, dass unser Ansatz textgesteuerte Bewegungsgenerierungsmethoden auf den Datensätzen HumanML3D und KIT übertrifft und visuell überzeugendere Bewegungen im Einklang mit den Textbedingungen erzeugt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp