Ein Lippen-Synchronisierungs-Experte ist alles, was Sie für die Erzeugung von Lippenbewegungen aus Sprache in der Wildnis benötigen.

In dieser Arbeit untersuchen wir das Problem der Lippen-Synchronisation eines Sprechgesichtsvideos beliebiger Identität, um es einem Ziel-Sprechsegment anzupassen. Aktuelle Arbeiten erzielen ausgezeichnete Ergebnisse bei der Erstellung präziser Lippenbewegungen auf statischen Bildern oder Videos spezifischer Personen, die während der Trainingsphase gesehen wurden. Allerdings scheitern sie daran, die Lippenbewegungen beliebiger Identitäten in dynamischen, unbeschränkten Sprechgesichtsvideos präzise zu verformen, was dazu führt, dass erhebliche Teile des Videos nicht mit dem neuen Audio synchron sind. Wir identifizieren die wesentlichen Gründe für dies und lösen sie durch das Lernen von einem leistungsstarken Lippen-Synchronisierungs-Diskriminator. Anschließend schlagen wir neue, strenge Bewertungsbenchmarks und Metriken vor, um die Lippen-Synchronisation in unbeschränkten Videos präzise zu messen. Ausführliche quantitative Evaluierungen auf unseren anspruchsvollen Benchmarks zeigen, dass die Lippen-Synchronisationsgenauigkeit der durch unser Wav2Lip-Modell generierten Videos fast so gut ist wie echte synchronisierte Videos. Wir stellen ein Demonstrationsvideo zur Verfügung, das den erheblichen Einfluss unseres Wav2Lip-Modells und der Bewertungsbenchmarks klar zeigt. Dieses Video finden Sie auf unserer Website:\url{cvit.iiit.ac.in/research/projects/cvit-projects/a-lip-sync-expert-is-all-you-need-for-speech-to-lip-generation-in-the-wild}.Der Code und die Modelle werden in diesem GitHub-Repository veröffentlicht:\url{github.com/Rudrabha/Wav2Lip}. Sie können auch das interaktive Demo unter folgendem Link ausprobieren:\url{bhaasha.iiit.ac.in/lipsync}.