HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

SEEG: Semantisch energisierte Co-Speech-Geste-Generierung

{Yi Yang Pan Pan Li Hu Linchao Zhu Qianyu Feng Yuanzhi Liang}

SEEG: Semantisch energisierte Co-Speech-Geste-Generierung

Abstract

Die Generierung von Gesten im Kontext von Gesprächen ist eine praktische, jedoch herausfordernde Aufgabe, die darauf abzielt, Gesten im Einklang mit der Sprache zu synthetisieren. Gesten mit sinnhaften Signalen können nützliche Informationen effektiver vermitteln und bei der Zuhörerschaft Sympathie hervorrufen. Aktuelle Ansätze konzentrieren sich hauptsächlich auf die zeitliche Anpassung von Gesten an die Sprachrhythmen, wodurch jedoch die explizite Erfassung von Semantik und die Modellierung semantischer Gesten erschwert werden. In diesem Artikel präsentieren wir eine neuartige Methode namens SEmantic Energized Generation (SEEG) für die semantikbewusste Gestengenerierung. Unsere Methode besteht aus zwei Komponenten: dem DEcoupled Mining-Modul (DEM) und dem Semantic Energizing-Modul (SEM). Das DEM entkoppelt semantisch irrelevante Informationen aus den Eingaben und extrahiert getrennt Informationen für Beat-Gesten und semantische Gesten. Das SEM führt eine semantische Lernphase durch und erzeugt entsprechende semantische Gesten. Neben der Repräsentationsähnlichkeit verlangt das SEM, dass die Vorhersagen dieselbe Semantik wie die Referenz (Ground Truth) ausdrücken müssen. Zudem wurde in SEM ein semantischer Prompter entworfen, der die semantikbewusste Supervision zur Verbesserung der Vorhersagen nutzt. Dadurch wird das Netzwerk angeregt, semantische Gesten effektiver zu lernen und zu generieren. Experimentelle Ergebnisse, die anhand dreier Metriken auf verschiedenen Benchmarks ermittelt wurden, belegen, dass SEEG semantische Hinweise effizient extrahiert und semantische Gesten generiert. Im Vergleich zu anderen Methoden erzielt SEEG in allen semantikbasierten Bewertungen auf unterschiedlichen Datensätzen überzeugende Ergebnisse. Qualitative Evaluierungen bestätigen zudem die Überlegenheit von SEEG hinsichtlich der semantischen Ausdruckskraft.

Benchmarks

BenchmarkMethodikMetriken
gesture-generation-on-ted-gesture-datasetSEEG
FGD: 3.751

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SEEG: Semantisch energisierte Co-Speech-Geste-Generierung | Forschungsarbeiten | HyperAI