SEEG: Semantisch energisierte Co-Speech-Geste-Generierung

Die Generierung von Gesten im Kontext von Gesprächen ist eine praktische, jedoch herausfordernde Aufgabe, die darauf abzielt, Gesten im Einklang mit der Sprache zu synthetisieren. Gesten mit sinnhaften Signalen können nützliche Informationen effektiver vermitteln und bei der Zuhörerschaft Sympathie hervorrufen. Aktuelle Ansätze konzentrieren sich hauptsächlich auf die zeitliche Anpassung von Gesten an die Sprachrhythmen, wodurch jedoch die explizite Erfassung von Semantik und die Modellierung semantischer Gesten erschwert werden. In diesem Artikel präsentieren wir eine neuartige Methode namens SEmantic Energized Generation (SEEG) für die semantikbewusste Gestengenerierung. Unsere Methode besteht aus zwei Komponenten: dem DEcoupled Mining-Modul (DEM) und dem Semantic Energizing-Modul (SEM). Das DEM entkoppelt semantisch irrelevante Informationen aus den Eingaben und extrahiert getrennt Informationen für Beat-Gesten und semantische Gesten. Das SEM führt eine semantische Lernphase durch und erzeugt entsprechende semantische Gesten. Neben der Repräsentationsähnlichkeit verlangt das SEM, dass die Vorhersagen dieselbe Semantik wie die Referenz (Ground Truth) ausdrücken müssen. Zudem wurde in SEM ein semantischer Prompter entworfen, der die semantikbewusste Supervision zur Verbesserung der Vorhersagen nutzt. Dadurch wird das Netzwerk angeregt, semantische Gesten effektiver zu lernen und zu generieren. Experimentelle Ergebnisse, die anhand dreier Metriken auf verschiedenen Benchmarks ermittelt wurden, belegen, dass SEEG semantische Hinweise effizient extrahiert und semantische Gesten generiert. Im Vergleich zu anderen Methoden erzielt SEEG in allen semantikbasierten Bewertungen auf unterschiedlichen Datensätzen überzeugende Ergebnisse. Qualitative Evaluierungen bestätigen zudem die Überlegenheit von SEEG hinsichtlich der semantischen Ausdruckskraft.