HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Lip Sync ist wichtig: Ein neuartiger multimodaler Fälschungsdetektor

{Hsin-Min Wang Yu Tsao Yan-Tsung Peng Sarwar Khan Ammarah Hashmi Sahibzada Adil Shahzad}

Lip Sync ist wichtig: Ein neuartiger multimodaler Fälschungsdetektor

Abstract

Die Deepfake-Technologie hat erheblich Fortschritte gemacht, stellt jedoch eine zweischneidige Waffe für die Gesellschaft dar. Sie kann sowohl zu positiven Zwecken eingesetzt werden, beispielsweise zur Wiederherstellung von alten Filminhalten in klassischen Filmen, als auch zu kriminellen Absichten, wie der Erstellung gefälschter Aufnahmen zur Beeinflussung der Öffentlichkeit oder zur Verbreitung von nicht einvernehmlich erstelltem Pornografie-Inhalt. Zahlreiche Forschungsarbeiten haben sich bereits mit der Bekämpfung missbräuchlicher Anwendungen beschäftigt und zeigen dank der Verfügbarkeit zahlreicher öffentlicher Datensätze sowie modellbasierter, einmodaler Deep-Learning-Methoden eine hohe Detektionsleistung bei gefälschten Aufnahmen. Allerdings sind diese Ansätze für die Erkennung multimodaler Manipulationen – beispielsweise gleichzeitiger Verfälschungen in visueller und akustischer Dimension – unzureichend. In dieser Arbeit wird ein neuartiges, auf Lippenlesen basierendes multimodales Deepfake-Erkennungsverfahren vorgestellt, das „Lip Sync Matters“ heißt. Es zielt auf hochwertige semantische Merkmale ab, um die Diskrepanz zwischen der aus dem Video extrahierten Lippensequenz und der synthetisch aus dem Audio generierten Lippensequenz mittels des Wav2lip-Modells zu nutzen, um gefälschte Videos zu identifizieren. Experimentelle Ergebnisse zeigen, dass das vorgeschlagene Verfahren mehrere bestehende einmodale, ensemblesbasierte und multimodale Methoden auf dem öffentlich verfügbaren multimodalen FakeAVCeleb-Datensatz übertrifft.

Benchmarks

BenchmarkMethodikMetriken
deepfake-detection-on-fakeavceleb-1Multimodal Ensemble Model
Accuracy (%): 89
deepfake-detection-on-fakeavceleb-1AV-Lip-Sync Model
Accuracy (%): 94

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lip Sync ist wichtig: Ein neuartiger multimodaler Fälschungsdetektor | Forschungsarbeiten | HyperAI