HyperAIHyperAI

Command Palette

Search for a command to run...

Ein Lippen-Synchronisierungs-Experte ist alles, was Sie für die Erzeugung von Lippenbewegungen aus Sprache in der Wildnis benötigen.

Zusammenfassung

In dieser Arbeit untersuchen wir das Problem der Lippen-Synchronisation eines Sprechgesichtsvideos beliebiger Identität, um es einem Ziel-Sprechsegment anzupassen. Aktuelle Arbeiten erzielen ausgezeichnete Ergebnisse bei der Erstellung präziser Lippenbewegungen auf statischen Bildern oder Videos spezifischer Personen, die während der Trainingsphase gesehen wurden. Allerdings scheitern sie daran, die Lippenbewegungen beliebiger Identitäten in dynamischen, unbeschränkten Sprechgesichtsvideos präzise zu verformen, was dazu führt, dass erhebliche Teile des Videos nicht mit dem neuen Audio synchron sind. Wir identifizieren die wesentlichen Gründe für dies und lösen sie durch das Lernen von einem leistungsstarken Lippen-Synchronisierungs-Diskriminator. Anschließend schlagen wir neue, strenge Bewertungsbenchmarks und Metriken vor, um die Lippen-Synchronisation in unbeschränkten Videos präzise zu messen. Ausführliche quantitative Evaluierungen auf unseren anspruchsvollen Benchmarks zeigen, dass die Lippen-Synchronisationsgenauigkeit der durch unser Wav2Lip-Modell generierten Videos fast so gut ist wie echte synchronisierte Videos. Wir stellen ein Demonstrationsvideo zur Verfügung, das den erheblichen Einfluss unseres Wav2Lip-Modells und der Bewertungsbenchmarks klar zeigt. Dieses Video finden Sie auf unserer Website:\url{cvit.iiit.ac.in/research/projects/cvit-projects/a-lip-sync-expert-is-all-you-need-for-speech-to-lip-generation-in-the-wild}.Der Code und die Modelle werden in diesem GitHub-Repository veröffentlicht:\url{github.com/Rudrabha/Wav2Lip}. Sie können auch das interaktive Demo unter folgendem Link ausprobieren:\url{bhaasha.iiit.ac.in/lipsync}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp