HyperAIHyperAI

Command Palette

Search for a command to run...

MambaTalk: Effiziente ganzheitliche Gestensynthese mit selektiven Zustandsraummodellen

Zunnan Xu* Yukang Lin* Haonan Han* Sicheng Yang Ronghui Li Yachao Zhang† Xiu Li†

Zusammenfassung

Die Gestenerzeugung ist ein entscheidendes Gebiet der Mensch-Computer-Interaktion, mit weitreichenden Anwendungen in verschiedenen Bereichen wie Film, Robotik und Virtual Reality. Neueste Fortschritte haben das Diffusionsmodell und Aufmerksamkeitsmechanismen genutzt, um die Gestenerzeugung zu verbessern. Dennoch bleibt die Erzeugung langer und vielfältiger Sequenzen mit geringer Latenz aufgrund der hohen rechnerischen Komplexität dieser Techniken eine Herausforderung. Wir untersuchen das Potential von Zustandsraummodellen (SSMs) zur Bewältigung dieser Herausforderung und implementieren eine zweistufige Modellierungsstrategie mit diskreten Bewegungsprioritäten, um die Qualität der Gesten zu erhöhen. Unter Verwendung des grundlegenden Mamba-Blocks stellen wir MambaTalk vor, das durch multimodale Integration die Gestenvielfalt und den Rhythmus verbessert. Umfangreiche Experimente zeigen, dass unsere Methode die Leistung der besten aktuellen Modelle erreicht oder übertreffen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp