SelfTalk: Ein selbstüberwachtes kommutatives Trainingsdiagramm zur Verständnis von 3D sprechenden Gesichtern

Sprachgesteuerte 3D-Gesichtsanimationstechnik, die ihre Anwendungen auf verschiedene Multimediafelder erweitert. Frühere Forschungen haben vielversprechende realistische Lippenbewegungen und Gesichtsausdrücke aus Audiozeichen generiert. Traditionelle regressionsbasierte Modelle, die ausschließlich datengesteuert sind, stoßen jedoch auf mehrere wesentliche Probleme, wie zum Beispiel Schwierigkeiten bei der Erstellung präziser Labels und Domänenlücken zwischen verschiedenen Modalitäten, was zu unzufriedenstellenden Ergebnissen führt, die an Präzision und Kohärenz mangeln.Um die visuelle Genauigkeit der generierten Lippenbewegungen zu verbessern und gleichzeitig die Abhängigkeit von etikettierten Daten zu reduzieren, schlagen wir ein neues Framework namens SelfTalk vor. Dieses Framework integriert Selbstüberwachung in ein multimodales Netzwerksystem zur Lernung von 3D sprechenden Gesichtern. Das System besteht aus drei Modulen: Gesichtsanimator, Spracherkennung und Lippenleser-Interpreter. Der Kern von SelfTalk ist ein kommutatives Trainingsdiagramm, das eine kompatible Merkmalaustausch zwischen Audio, Text und Lippenform ermöglicht und unsere Modelle in der Lage sein lässt, die komplexe Beziehung zwischen diesen Faktoren zu lernen.Das vorgeschlagene Framework nutzt das Wissen, das vom Lippenleser-Interpreter gelernt wurde, um plausiblere Lippenformen zu generieren. Umfangreiche Experimente und Nutzerstudien zeigen, dass unser Ansatz sowohl qualitativ als auch quantitativ den Stand der Technik erreicht. Wir empfehlen das zusätzliche Video anzusehen.